Training verbeteren met Lightning-callbacks

Schaalbare AI-modellen met PyTorch Lightning

Sergiy Tkachuk

Director, GenAI Productivity

Wat zijn callbacks?

Functies uitgevoerd op sleutelpunten in training
Voeg acties toe zonder je code te vervuilen
Meer flexibiliteit en controle

overzicht callbacks

Wat zijn callbacks?

from lightning.pytorch.callbacks import Callback

class MyPrintingCallback(Callback):

    def on_train_start(self, trainer, pl_module):
        print("Training is starting")

    def on_train_end(self, trainer, pl_module):
        print("Training is ending")

Voeg eigen acties toe op verschillende momenten in training

Lightning ModelCheckpoint-callback

Slaat het model automatisch op bij ingestelde intervallen
Kies een metric om te volgen
Bewaar alleen het beste model

from lightning.pytorch.callbacks
import ModelCheckpoint

checkpoint_callback = ModelCheckpoint(

    monitor='val_loss',

    dirpath='my/path/',

    filename='{epoch}-{val_loss:.2f}',

    save_top_k=1,

    mode='min'

)

¹ https://lightning.ai/docs/pytorch/stable/api/lightning.pytorch.callbacks.ModelCheckpoint.html

Lightning EarlyStopping-callback

Houd een metric bij
Stop met trainen als de metric niet meer verbetert

from lightning.pytorch.callbacks
import EarlyStopping

early_stopping_callback = EarlyStopping(

    monitor='val_loss',

    patience=3,

    mode='min'

)

¹ https://lightning.ai/docs/pytorch/stable/api/lightning.pytorch.callbacks.EarlyStopping.html

Lightning-callbacks aanpassen en gebruiken

from lightning.pytorch import Trainer
from lightning.pytorch.callbacks import EarlyStopping, ModelCheckpoint

checkpoint = ModelCheckpoint(
    monitor='val_accuracy',
    save_top_k=2,
    mode='max')

early_stopping = EarlyStopping(
    monitor='val_accuracy',
    patience=5,
    mode='max')


trainer = Trainer(max_epochs=50, callbacks=[checkpoint, early_stopping])

¹ https://lightning.ai/docs/pytorch/stable/common/trainer.html

Laten we oefenen!

Schaalbare AI-modellen met PyTorch Lightning