Mengintegrasikan validasi dan pengujian

Model AI yang Dapat Diskalakan dengan PyTorch Lightning

Sergiy Tkachuk

Director, GenAI Productivity

Mengapa memasukkan validasi dan pengujian?

Validasi
- Identifikasi masalah kinerja lebih awal
- Cegah overfitting dan underfitting
Pengujian
- Kinerja pada data yang belum terlihat

Diagram validasi dan pengujian

Mengimplementasikan validasi

Nilai kinerja model tiap epoch
Agregasi metrik untuk tampilan lebih stabil

def validation_step(self, batch, batch_idx):
  x, y = batch
  preds = self(x)
  loss = F.cross_entropy(preds, y)
  self.log('val_loss', loss)


def validation_epoch_end(self, outputs):
  avg_loss = torch.stack([x['loss'] for x in outputs]).mean()
  self.log('avg_val_loss', avg_loss)

Mengimplementasikan pengujian

Nilai kinerja akhir pada data tak terlihat
Benchmark efektivitas di dunia nyata
Sediakan metrik untuk deployment model

def test_step(self, batch, batch_idx):
  x, y = batch
  y_hat = self(x)
  loss = F.cross_entropy(y_hat, y)
  self.log('test_loss', loss)


def test_epoch_end(self, outputs):
  avg_loss = torch.stack([x['loss'] for x in outputs]).mean()
  self.log('avg_test_loss', avg_loss)

Evaluasi dengan Torchmetrics

Pantau metrik seperti accuracy
Mudah diintegrasikan ke alur Lightning
Inisialisasi accuracy
Hitung accuracy di tiap langkah validasi

from torchmetrics import Accuracy

class BaseModel(pl.LightningModule):
    def __init__(self):
        super().__init__()
        self.accuracy = Accuracy()


    def validation_step(self, batch, batch_idx):
        x, y = batch
        preds = self(x)
        acc = self.accuracy(preds, y)
        self.log('val_acc', acc)

Menghubungkan DataModule, validasi, dan pengujian

Logika data terpusat dalam DataModule
Split data train/val/test konsisten
Pencatatan metrik validasi otomatis
Pipeline dapat direproduksi dari prep hingga pelaporan

Diagram DataModule, validasi, dan pengujian

Ayo berlatih!

Model AI yang Dapat Diskalakan dengan PyTorch Lightning