Evaluarea clasificatoarelor de imagini

Deep Learning intermediar cu PyTorch

Michal Oleszak

Machine Learning Engineer

Augmentarea datelor la testare

Augmentarea datelor pentru antrenare:

train_transforms = transforms.Compose([
    transforms.RandomHorizontalFlip(),
    transforms.RandomRotation(45),
    transforms.RandomAutocontrast(),
    transforms.ToTensor(),
    transforms.Resize((64, 64)),
])

dataset_train = ImageFolder(
  "clouds_train", 
  transform=train_transforms,
)

Augmentarea datelor pentru testare:

test_transforms = transforms.Compose([
    #
    # NO DATA AUGMENTATION AT TEST TIME
    #
    transforms.ToTensor(),
    transforms.Resize((64, 64)),
])

dataset_test = ImageFolder(
  "clouds_test", 
  transform=test_transforms,
)

Precizie și Recall: clasificare binară

În clasificarea binară:

Precizie: Fracțiunea predicțiilor pozitive corecte
Recall: Fracțiunea exemplelor pozitive corect prezise

O matrice de confuzie 2x2 cu fiecare câmp marcat într-o culoare diferită; alături, formulele pentru recall și precizie sunt exprimate prin codurile de culoare.

Precizie și Recall: clasificare multi-clasă

În clasificarea multi-clasă: precizie și recall separate pentru fiecare clasă

Precizie: Fracțiunea predicțiilor „cumulus" care au fost corecte
Recall: Fracțiunea exemplelor cumulus corect prezise

Imagine cu nor cumulus

Medierea metricilor multi-clasă

Cu 7 clase, avem 7 scoruri de precizie și 7 de recall
Pot fi analizate per clasă sau agregate:
- Medie micro: calcul global
- Medie macro: media metricilor per clasă
- Medie ponderată: media ponderată a metricilor per clasă

Medierea metricilor multi-clasă

from torchmetrics import Recall

recall_per_class = Recall(task="multiclass", num_classes=7, average=None)
recall_micro = Recall(task="multiclass", num_classes=7, average="micro")
recall_macro = Recall(task="multiclass", num_classes=7, average="macro")
recall_weighted = Recall(task="multiclass", num_classes=7, average="weighted")

Când se folosește fiecare:

Micro: Seturi de date dezechilibrate
Macro: Performanță importantă pe clase mici
Weighted: Erorile din clasele mari sunt mai importante

Bucla de evaluare

from torchmetrics import Precision, Recall

metric_precision = Precision(
  task="multiclass", num_classes=7, average="macro"
)
metric_recall = Recall(
  task="multiclass", num_classes=7, average="macro"
)

net.eval()
with torch.no_grad():
    for images, labels in dataloader_test:

        outputs = net(images)
        _, preds = torch.max(outputs, 1)
        metric_precision(preds, labels)
        metric_recall(preds, labels)

precision = metric_precision.compute()
recall = metric_recall.compute()

Importați și definiți metricile de precizie și recall
Iterați peste exemplele de test fără gradient
Pentru fiecare lot de test, obțineți ieșirile modelului, selectați clasa cea mai probabilă și transmiteți-o funcțiilor metrice împreună cu etichetele
Calculați metricile

print(f"Precision: {precision}")
print(f"Recall: {recall}")

Precision: 0.7284010648727417
Recall: 0.763038694858551

Analiza performanței per clasă

metric_recall = Recall(
  task="multiclass", num_classes=7, average=None
)
net.eval()
with torch.no_grad():
    for images, labels in dataloader_test:
        outputs = net(images)
        _, preds = torch.max(outputs, 1)
        metric_recall(preds, labels)
recall = metric_recall.compute()

print(recall)

tensor([0.6364, 1.0000, 0.9091, 0.7917, 
        0.5049, 0.9500, 0.5493],
       dtype=torch.float32)

Calculați metrica cu average=None
Se obține un scor per clasă
Atributul .class_to_idx al Dataset mapează numele claselor la indici

dataset_test.class_to_idx

{'cirriform clouds': 0,
 'clear sky': 1,
 'cumulonimbus clouds': 2,
 'cumulus clouds': 3,
 'high cumuliform clouds': 4,
 'stratiform clouds': 5,
 'stratocumulus clouds': 6}

Analiza performanței per clasă

{
  k: recall[v].item() 
  for k, v 
  in dataset_test.class_to_idx.items()
}

{'cirriform clouds': 0.6363636255264282,
 'clear sky': 1.0,
 'cumulonimbus clouds': 0.9090909361839294,
 'cumulus clouds': 0.7916666865348816,
 'high cumuliform clouds': 0.5048543810844421,
 'stratiform clouds': 0.949999988079071,
 'stratocumulus clouds': 0.5492957830429077}

k = numele clasei, ex. cirriform clouds
v = indexul clasei, ex. 0
recall[v] = tensor(0.6364, dtype=torch.float32)
recall[v].item() = 0.6364

Să exersăm!

Deep Learning intermediar cu PyTorch