Mejora el entrenamiento con callbacks de Lightning

Modelos de IA escalables con PyTorch Lightning

Sergiy Tkachuk

Director, GenAI Productivity

¿Qué son los callbacks?

Funciones que se ejecutan en etapas clave del entrenamiento
Añade acciones personalizadas sin ensuciar el código
Mayor flexibilidad y control

resumen de callbacks

¿Qué son los callbacks?

from lightning.pytorch.callbacks import Callback

class MyPrintingCallback(Callback):

    def on_train_start(self, trainer, pl_module):
        print("Training is starting")

    def on_train_end(self, trainer, pl_module):
        print("Training is ending")

Añadir acciones personalizadas en distintas fases del entrenamiento

Callback ModelCheckpoint de Lightning

Guarda el modelo automáticamente en intervalos definidos
Elige la métrica a seguir
Conserva solo el mejor modelo

from lightning.pytorch.callbacks
import ModelCheckpoint

checkpoint_callback = ModelCheckpoint(

    monitor='val_loss',

    dirpath='my/path/',

    filename='{epoch}-{val_loss:.2f}',

    save_top_k=1,

    mode='min'

)

¹ https://lightning.ai/docs/pytorch/stable/api/lightning.pytorch.callbacks.ModelCheckpoint.html

Callback EarlyStopping de Lightning

Monitorea una métrica
Detén el entrenamiento cuando deje de mejorar

from lightning.pytorch.callbacks
import EarlyStopping

early_stopping_callback = EarlyStopping(

    monitor='val_loss',

    patience=3,

    mode='min'

)

¹ https://lightning.ai/docs/pytorch/stable/api/lightning.pytorch.callbacks.EarlyStopping.html

Personaliza y usa callbacks de Lightning

from lightning.pytorch import Trainer
from lightning.pytorch.callbacks import EarlyStopping, ModelCheckpoint

checkpoint = ModelCheckpoint(
    monitor='val_accuracy',
    save_top_k=2,
    mode='max')

early_stopping = EarlyStopping(
    monitor='val_accuracy',
    patience=5,
    mode='max')


trainer = Trainer(max_epochs=50, callbacks=[checkpoint, early_stopping])

¹ https://lightning.ai/docs/pytorch/stable/common/trainer.html

¡Vamos a practicar!

Modelos de IA escalables con PyTorch Lightning