Training mit Lightning-Callbacks verbessern

Skalierbare KI-Modelle mit PyTorch Lightning

Sergiy Tkachuk

Director, GenAI Productivity

Was sind Callbacks?

Funktionen, die in Schlüsselphasen des Trainings laufen
Eigene Aktionen hinzufügen, ohne Code zu überladen
Mehr Flexibilität und Kontrolle

Übersicht zu Callbacks

Was sind Callbacks?

from lightning.pytorch.callbacks import Callback

class MyPrintingCallback(Callback):

    def on_train_start(self, trainer, pl_module):
        print("Training is starting")

    def on_train_end(self, trainer, pl_module):
        print("Training is ending")

Eigene Aktionen in verschiedenen Trainingsphasen hinzufügen

Lightning-Callback ModelCheckpoint

Speichert das Modell automatisch in festen Abständen
Metrik zum Tracken wählen
Nur das beste Modell behalten

from lightning.pytorch.callbacks
import ModelCheckpoint

checkpoint_callback = ModelCheckpoint(

    monitor='val_loss',

    dirpath='my/path/',

    filename='{epoch}-{val_loss:.2f}',

    save_top_k=1,

    mode='min'

)

¹ https://lightning.ai/docs/pytorch/stable/api/lightning.pytorch.callbacks.ModelCheckpoint.html

Lightning-Callback EarlyStopping

Metrik überwachen
Training stoppen, wenn sie sich nicht mehr verbessert

from lightning.pytorch.callbacks
import EarlyStopping

early_stopping_callback = EarlyStopping(

    monitor='val_loss',

    patience=3,

    mode='min'

)

¹ https://lightning.ai/docs/pytorch/stable/api/lightning.pytorch.callbacks.EarlyStopping.html

Lightning-Callbacks anpassen und nutzen

from lightning.pytorch import Trainer
from lightning.pytorch.callbacks import EarlyStopping, ModelCheckpoint

checkpoint = ModelCheckpoint(
    monitor='val_accuracy',
    save_top_k=2,
    mode='max')

early_stopping = EarlyStopping(
    monitor='val_accuracy',
    patience=5,
    mode='max')


trainer = Trainer(max_epochs=50, callbacks=[checkpoint, early_stopping])

¹ https://lightning.ai/docs/pytorch/stable/common/trainer.html

Lass uns üben!

Skalierbare KI-Modelle mit PyTorch Lightning