Évaluer les performances du modèle

Introduction au deep learning avec PyTorch

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Entraînement, validation et test

Un ensemble de données est généralement divisé en trois sous-ensembles :

	Pourcentage de données	Rôle
Entraînement	80-90 %	Ajuste les paramètres du modèle
Validation	10-20 %	Ajuste les hyperparamètres
Test	5-10 %	Évalue les performances du modèle final

Suivre la perte et la précision pendant l’entraînement et la validation

Calcul de la perte d’entraînement

Pour chaque époque :

Faire la somme des pertes pour tous les lots du dataloader
Calculer la perte moyenne d’entraînement à la fin de l’époque

training_loss = 0.0

for inputs, labels in trainloader:
    # Run the forward pass
    outputs = model(inputs)
    # Compute the loss
    loss = criterion(outputs, labels)

    # Backpropagation
    loss.backward()  # Compute gradients
    optimizer.step()  # Update weights
    optimizer.zero_grad()  # Reset gradients


    # Calculate and sum the loss
    training_loss += loss.item()

epoch_loss = training_loss / len(trainloader)

Calcul de la perte d’entraînement

validation_loss = 0.0
model.eval() # Put model in evaluation mode


with torch.no_grad(): # Disable gradients for efficiency

  for inputs, labels in validationloader:
     # Run the forward pass
     outputs = model(inputs)
     # Calculate the loss 
     loss = criterion(outputs, labels)
     validation_loss += loss.item()

epoch_loss = validation_loss / len(validationloader) # Compute mean loss

model.train() # Switch back to training mode

Surajustement

exemple de surajustement

Calcul de la précision avec TorchMetrics

import torchmetrics


# Create accuracy metric
metric = torchmetrics.Accuracy(task="multiclass", num_classes=3)


for features, labels in dataloader:
    outputs = model(features)  # Forward pass
    # Compute batch accuracy (keeping argmax for one-hot labels)
    metric.update(outputs, labels.argmax(dim=-1))


# Compute accuracy over the whole epoch
accuracy = metric.compute()


# Reset metric for the next epoch
metric.reset()

Passons à la pratique !

Introduction au deep learning avec PyTorch