Validierung und Tests einbinden

Skalierbare KI-Modelle mit PyTorch Lightning

Sergiy Tkachuk

Director, GenAI Productivity

Warum Validierung und Tests einbinden?

Validierung
- Modellprobleme früh erkennen
- Overfitting und Underfitting vermeiden
Testen
- Leistung auf ungesehenen Daten

Validierungs- und Testdiagramm

Validierung implementieren

Modellleistung pro Epoche auswerten
Metriken aggregieren für stabilere Sicht

def validation_step(self, batch, batch_idx):
  x, y = batch
  preds = self(x)
  loss = F.cross_entropy(preds, y)
  self.log('val_loss', loss)


def validation_epoch_end(self, outputs):
  avg_loss = torch.stack([x['loss'] for x in outputs]).mean()
  self.log('avg_val_loss', avg_loss)

Tests implementieren

Finale Modellleistung auf ungesehenen Daten bewerten
Wirksamkeit im Einsatz messen
Metriken für Deployment bereitstellen

def test_step(self, batch, batch_idx):
  x, y = batch
  y_hat = self(x)
  loss = F.cross_entropy(y_hat, y)
  self.log('test_loss', loss)


def test_epoch_end(self, outputs):
  avg_loss = torch.stack([x['loss'] for x in outputs]).mean()
  self.log('avg_test_loss', avg_loss)

Bewertung mit Torchmetrics

Metriken wie Accuracy überwachen
Einfach in Lightning-Workflow integrieren
Accuracy initialisieren
Accuracy in jedem Validierungsschritt berechnen

from torchmetrics import Accuracy

class BaseModel(pl.LightningModule):
    def __init__(self):
        super().__init__()
        self.accuracy = Accuracy()


    def validation_step(self, batch, batch_idx):
        x, y = batch
        preds = self(x)
        acc = self.accuracy(preds, y)
        self.log('val_acc', acc)

DataModule, Validierung und Tests verbinden

Datenlogik im DataModule gebündelt
Konsistente Train/Val/Test-Splits
Automatisches Logging der Validierungsmetriken
Reproduzierbare Pipeline von Vorbereitung bis Reporting

DataModule-, Validierungs- und Testdiagramm

Lass uns üben!

Skalierbare KI-Modelle mit PyTorch Lightning