Görüntü sınıflandırıcılarını değerlendirme

PyTorch ile Orta Düzey Deep Learning

Michal Oleszak

Machine Learning Engineer

Test zamanında veri artırma

Eğitim verisi için veri artırma:

train_transforms = transforms.Compose([
    transforms.RandomHorizontalFlip(),
    transforms.RandomRotation(45),
    transforms.RandomAutocontrast(),
    transforms.ToTensor(),
    transforms.Resize((64, 64)),
])

dataset_train = ImageFolder(
  "clouds_train", 
  transform=train_transforms,
)

Test verisi için veri artırma:

test_transforms = transforms.Compose([
    #
    # TEST ZAMANINDA VERİ ARTIRMA YOK
    #
    transforms.ToTensor(),
    transforms.Resize((64, 64)),
])

dataset_test = ImageFolder(
  "clouds_test", 
  transform=test_transforms,
)

Precision ve Recall: ikili sınıflandırma

İkili sınıflandırmada:

Precision: Doğru pozitif tahminlerin oranı
Recall: Tüm pozitif örneklerin doğru tahmin edilme oranı

Dört alanı farklı renklerle işaretlenmiş 2x2 karmaşıklık matrisi; yanında, recall ve precision formülleri renk kodlarıyla gösterilmiştir.

Precision ve Recall: çok sınıflı sınıflandırma

Çok sınıflı sınıflandırmada: her sınıf için ayrı precision ve recall

Precision: Doğru olan kümülüs tahminlerinin oranı
Recall: Tüm kümülüs örneklerinin doğru tahmin edilme oranı

Kümülüs bulutu resmi

Çok sınıflı metriklerde ortalama alma

7 sınıfla, 7 precision ve 7 recall skoru vardır
Bunları sınıf bazında inceleyebilir veya birleştirebiliriz:
- Micro ortalama: küresel hesaplama
- Macro ortalama: sınıf bazlı metriklerin ortalaması
- Ağırlıklı ortalama: sınıf bazlı metriklerin ağırlıklı ortalaması

Çok sınıflı metriklerde ortalama alma

from torchmetrics import Recall

recall_per_class = Recall(task="multiclass", num_classes=7, average=None)
recall_micro = Recall(task="multiclass", num_classes=7, average="micro")
recall_macro = Recall(task="multiclass", num_classes=7, average="macro")
recall_weighted = Recall(task="multiclass", num_classes=7, average="weighted")

Hangisini ne zaman kullanmalı:

Micro: Dengesiz veri kümeleri
Macro: Küçük sınıflardaki performans önemliyse
Ağırlıklı: Büyük sınıflardaki hatalar daha önemliyse

Değerlendirme döngüsü

from torchmetrics import Precision, Recall

metric_precision = Precision(
  task="multiclass", num_classes=7, average="macro"
)
metric_recall = Recall(
  task="multiclass", num_classes=7, average="macro"
)

net.eval()
with torch.no_grad():
    for images, labels in dataloader_test:

        outputs = net(images)
        _, preds = torch.max(outputs, 1)
        metric_precision(preds, labels)
        metric_recall(preds, labels)

precision = metric_precision.compute()
recall = metric_recall.compute()

Precision ve recall metriklerini içe aktarın ve tanımlayın
Test örnekleri üzerinde gradyans olmadan yineleyin
Her test yığını için model çıktısını alın, en olası sınıfı seçin ve etiketlerle birlikte metrik fonksiyonlarına verin
Metrikleri hesaplayın

print(f"Precision: {precision}")
print(f"Recall: {recall}")

Precision: 0.7284010648727417
Recall: 0.763038694858551

Sınıf başına performansı analiz etme

metric_recall = Recall(
  task="multiclass", num_classes=7, average=None
)
net.eval()
with torch.no_grad():
    for images, labels in dataloader_test:
        outputs = net(images)
        _, preds = torch.max(outputs, 1)
        metric_recall(preds, labels)
recall = metric_recall.compute()

print(recall)

tensor([0.6364, 1.0000, 0.9091, 0.7917, 
        0.5049, 0.9500, 0.5493],
       dtype=torch.float32)

Metrik average=None ile hesaplanır
Bu, sınıf başına bir skor verir
Dataset'in .class_to_idx özniteliği sınıf adlarını indekslere eşler

dataset_test.class_to_idx

{'cirriform clouds': 0,
 'clear sky': 1,
 'cumulonimbus clouds': 2,
 'cumulus clouds': 3,
 'high cumuliform clouds': 4,
 'stratiform clouds': 5,
 'stratocumulus clouds': 6}

Sınıf başına performansı analiz etme

{
  k: recall[v].item() 
  for k, v 
  in dataset_test.class_to_idx.items()
}

{'cirriform clouds': 0.6363636255264282,
 'clear sky': 1.0,
 'cumulonimbus clouds': 0.9090909361839294,
 'cumulus clouds': 0.7916666865348816,
 'high cumuliform clouds': 0.5048543810844421,
 'stratiform clouds': 0.949999988079071,
 'stratocumulus clouds': 0.5492957830429077}

k = sınıf adı, ör. cirriform clouds
v = sınıf indeksi, ör. 0
recall[v] = tensor(0.6364, dtype=torch.float32)
recall[v].item() = 0.6364

Ayo berlatih!

PyTorch ile Orta Düzey Deep Learning