Evaluarea performanței modelului

Introducere în Deep Learning cu PyTorch

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Antrenare, validare și testare

Un set de date este împărțit de obicei în trei subseturi:

	Procent din date	Rol
Antrenare	80-90%	Ajustează parametrii modelului
Validare	10-20%	Reglează hiperparametrii
Test	5-10%	Evaluează performanța finală a modelului

Urmăriți pierderea și acuratețea în timpul antrenării și validării

Calcularea pierderii de antrenare

Pentru fiecare epocă:

Sumați pierderea pentru toate loturile din dataloader
Calculați pierderea medie de antrenare la sfârșitul epocii

training_loss = 0.0

for inputs, labels in trainloader:
    # Run the forward pass
    outputs = model(inputs)
    # Compute the loss
    loss = criterion(outputs, labels)

    # Backpropagation
    loss.backward()  # Compute gradients
    optimizer.step()  # Update weights
    optimizer.zero_grad()  # Reset gradients


    # Calculate and sum the loss
    training_loss += loss.item()

epoch_loss = training_loss / len(trainloader)

Calcularea pierderii de validare

validation_loss = 0.0
model.eval() # Put model in evaluation mode


with torch.no_grad(): # Disable gradients for efficiency

  for inputs, labels in validationloader:
     # Run the forward pass
     outputs = model(inputs)
     # Calculate the loss 
     loss = criterion(outputs, labels)
     validation_loss += loss.item()

epoch_loss = validation_loss / len(validationloader) # Compute mean loss

model.train() # Switch back to training mode

Supraajustare

un exemplu de supraajustare

Calcularea acurateței cu torchmetrics

import torchmetrics


# Create accuracy metric
metric = torchmetrics.Accuracy(task="multiclass", num_classes=3)


for features, labels in dataloader:
    outputs = model(features)  # Forward pass
    # Compute batch accuracy (keeping argmax for one-hot labels)
    metric.update(outputs, labels.argmax(dim=-1))


# Compute accuracy over the whole epoch
accuracy = metric.compute()


# Reset metric for the next epoch
metric.reset()

Să exersăm!

Introducere în Deep Learning cu PyTorch