Évaluer les classifieurs d’images

Deep learning intermédiaire avec PyTorch

Michal Oleszak

Machine Learning Engineer

Augmentation des données au test

Augmentation des données pour l’entraînement :

train_transforms = transforms.Compose([
    transforms.RandomHorizontalFlip(),
    transforms.RandomRotation(45),
    transforms.RandomAutocontrast(),
    transforms.ToTensor(),
    transforms.Resize((64, 64)),
])

dataset_train = ImageFolder(
  "clouds_train", 
  transform=train_transforms,
)

Augmentation des données pour le test :

test_transforms = transforms.Compose([
    #
    # NO DATA AUGMENTATION AT TEST TIME
    #
    transforms.ToTensor(),
    transforms.Resize((64, 64)),
])

dataset_test = ImageFolder(
  "clouds_test", 
  transform=test_transforms,
)

Précision et rappel : classification binaire

En classification binaire :

Precision : proportion de prédictions positives correctes
Recall : proportion de vrais positifs détectés

Une matrice de confusion 2×2 avec chaque case en couleur différente ; à côté, les formules de rappel et de précision sont exprimées via ces codes couleur.

Précision et rappel : multi-classes

En multi-classes : précision et rappel séparés par classe

Precision : part des prédictions « cumulus » correctes
Recall : part des exemples « cumulus » correctement détectés

Photo de nuages cumulus

Moyennage des métriques multi-classes

Avec 7 classes, on a 7 précisions et 7 rappels
Analyse par classe ou agrégée :
- Moyenne micro : calcul global
- Moyenne macro : moyenne des métriques par classe
- Moyenne pondérée : moyenne pondérée par classe

Moyennage des métriques multi-classes

from torchmetrics import Recall

recall_per_class = Recall(task="multiclass", num_classes=7, average=None)
recall_micro = Recall(task="multiclass", num_classes=7, average="micro")
recall_macro = Recall(task="multiclass", num_classes=7, average="macro")
recall_weighted = Recall(task="multiclass", num_classes=7, average="weighted")

Quand utiliser chacun :

Micro : jeux de données déséquilibrés
Macro : importance des petites classes
Pondéré : erreurs des grandes classes plus importantes

Boucle d’évaluation

from torchmetrics import Precision, Recall

metric_precision = Precision(
  task="multiclass", num_classes=7, average="macro"
)
metric_recall = Recall(
  task="multiclass", num_classes=7, average="macro"
)

net.eval()
with torch.no_grad():
    for images, labels in dataloader_test:

        outputs = net(images)
        _, preds = torch.max(outputs, 1)
        metric_precision(preds, labels)
        metric_recall(preds, labels)

precision = metric_precision.compute()
recall = metric_recall.compute()

Importer et définir précision et rappel
Itérer sur le test sans gradient
Pour chaque lot, obtenir les sorties, prendre la classe la plus probable, et passer avec les labels aux métriques
Calculer les métriques

print(f"Precision: {precision}")
print(f"Recall: {recall}")

Precision: 0.7284010648727417
Recall: 0.763038694858551

Analyse des performances par classe

metric_recall = Recall(
  task="multiclass", num_classes=7, average=None
)
net.eval()
with torch.no_grad():
    for images, labels in dataloader_test:
        outputs = net(images)
        _, preds = torch.max(outputs, 1)
        metric_recall(preds, labels)
recall = metric_recall.compute()

print(recall)

tensor([0.6364, 1.0000, 0.9091, 0.7917, 
        0.5049, 0.9500, 0.5493],
       dtype=torch.float32)

Calculer avec average=None
Donne un score par classe
L’attribut .class_to_idx du Dataset mappe noms de classes vers indices

dataset_test.class_to_idx

{'cirriform clouds': 0,
 'clear sky': 1,
 'cumulonimbus clouds': 2,
 'cumulus clouds': 3,
 'high cumuliform clouds': 4,
 'stratiform clouds': 5,
 'stratocumulus clouds': 6}

Analyse des performances par classe

{
  k: recall[v].item() 
  for k, v 
  in dataset_test.class_to_idx.items()
}

{'cirriform clouds': 0.6363636255264282,
 'clear sky': 1.0,
 'cumulonimbus clouds': 0.9090909361839294,
 'cumulus clouds': 0.7916666865348816,
 'high cumuliform clouds': 0.5048543810844421,
 'stratiform clouds': 0.949999988079071,
 'stratocumulus clouds': 0.5492957830429077}

k = nom de classe, ex. cirriform clouds
v = index de classe, ex. 0
recall[v] = tensor(0.6364, dtype=torch.float32)
recall[v].item() = 0.6364

Passons à la pratique !

Deep learning intermédiaire avec PyTorch