मॉडल परफॉर्मेंस का मूल्यांकन

PyTorch के साथ Deep Learning परिचय

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Training, validation और testing

एक डेटासेट आमतौर पर तीन सबसेट में बाँटा जाता है:

	डेटा का प्रतिशत	भूमिका
Training	80-90%	मॉडल पैरामीटर एडजस्ट करता है
Validation	10-20%	हाइपरपैरामीटर ट्यून करता है
Test	5-10%	अंतिम मॉडल परफॉर्मेंस का आकलन करता है

Training और validation के दौरान loss और accuracy ट्रैक करें

Training loss की गणना

हर epoch के लिए:

Dataloader की सभी batches पर loss को जोड़ें
Epoch के अंत में mean training loss निकालें

training_loss = 0.0

for inputs, labels in trainloader:
    # Run the forward pass
    outputs = model(inputs)
    # Compute the loss
    loss = criterion(outputs, labels)

    # Backpropagation
    loss.backward()  # Compute gradients
    optimizer.step()  # Update weights
    optimizer.zero_grad()  # Reset gradients


    # Calculate and sum the loss
    training_loss += loss.item()

epoch_loss = training_loss / len(trainloader)

Validation loss की गणना

validation_loss = 0.0
model.eval() # Put model in evaluation mode


with torch.no_grad(): # Disable gradients for efficiency

  for inputs, labels in validationloader:
     # Run the forward pass
     outputs = model(inputs)
     # Calculate the loss 
     loss = criterion(outputs, labels)
     validation_loss += loss.item()

epoch_loss = validation_loss / len(validationloader) # Compute mean loss

model.train() # Switch back to training mode

Overfitting

ओवरफिटिंग का एक उदाहरण

torchmetrics से accuracy निकालना

import torchmetrics


# Create accuracy metric
metric = torchmetrics.Accuracy(task="multiclass", num_classes=3)


for features, labels in dataloader:
    outputs = model(features)  # Forward pass
    # Compute batch accuracy (keeping argmax for one-hot labels)
    metric.update(outputs, labels.argmax(dim=-1))


# Compute accuracy over the whole epoch
accuracy = metric.compute()


# Reset metric for the next epoch
metric.reset()

अभ्यास करते हैं!

PyTorch के साथ Deep Learning परिचय