Incorporarea validării și testării

Modele AI scalabile cu PyTorch Lightning

Sergiy Tkachuk

Director, GenAI Productivity

De ce să incorporăm validarea și testarea?

Validare
- Identificați timpuriu problemele de performanță
- Preveniți supraajustarea și subajustarea
Testare
- Performanța pe date nevăzute

Diagramă validare și testare

Implementarea validării

Evaluați performanța modelului la fiecare epocă
Agregați metrici pentru o perspectivă mai stabilă

def validation_step(self, batch, batch_idx):
  x, y = batch
  preds = self(x)
  loss = F.cross_entropy(preds, y)
  self.log('val_loss', loss)


def validation_epoch_end(self, outputs):
  avg_loss = torch.stack([x['loss'] for x in outputs]).mean()
  self.log('avg_val_loss', avg_loss)

Implementarea testării

Evaluați performanța finală pe date nevăzute
Măsurați eficacitatea în lumea reală
Furnizați metrici pentru implementarea modelului

def test_step(self, batch, batch_idx):
  x, y = batch
  y_hat = self(x)
  loss = F.cross_entropy(y_hat, y)
  self.log('test_loss', loss)


def test_epoch_end(self, outputs):
  avg_loss = torch.stack([x['loss'] for x in outputs]).mean()
  self.log('avg_test_loss', avg_loss)

Evaluare cu Torchmetrics

Monitorizați metrici precum acuratețea
Integrare ușoară în fluxul Lightning
Inițializați acuratețea
Calculați acuratețea la fiecare pas de validare

from torchmetrics import Accuracy

class BaseModel(pl.LightningModule):
    def __init__(self):
        super().__init__()
        self.accuracy = Accuracy()


    def validation_step(self, batch, batch_idx):
        x, y = batch
        preds = self(x)
        acc = self.accuracy(preds, y)
        self.log('val_acc', acc)

Conectarea DataModule, validării și testării

Logica datelor centralizată în DataModule
Împărțiri consistente train/val/test
Jurnalizare automată a metricilor de validare
Pipeline reproductibil de la pregătire la raportare

Diagramă DataModule, validare și testare

Să exersăm!

Modele AI scalabile cu PyTorch Lightning