Улучшение обучения с помощью Lightning callbacks

Масштабируемые модели ИИ с PyTorch Lightning

Sergiy Tkachuk

Director, GenAI Productivity

Что такое callbacks?

Функции, выполняемые на ключевых этапах обучения
Добавляют пользовательские действия, не засоряя код
Повышают гибкость и управляемость

обзор callbacks

Что такое callbacks?

from lightning.pytorch.callbacks import Callback

class MyPrintingCallback(Callback):

    def on_train_start(self, trainer, pl_module):
        print("Training is starting")

    def on_train_end(self, trainer, pl_module):
        print("Training is ending")

Добавление пользовательских действий на различных этапах обучения

Callback Lightning ModelCheckpoint

Автоматически сохраняет модель через заданные интервалы
Позволяет выбрать отслеживаемую метрику
Сохраняет только лучшую модель

from lightning.pytorch.callbacks
import ModelCheckpoint

checkpoint_callback = ModelCheckpoint(

    monitor='val_loss',

    dirpath='my/path/',

    filename='{epoch}-{val_loss:.2f}',

    save_top_k=1,

    mode='min'

)

¹ https://lightning.ai/docs/pytorch/stable/api/lightning.pytorch.callbacks.ModelCheckpoint.html

Callback Lightning EarlyStopping

Отслеживает метрику
Останавливает обучение, когда метрика перестаёт улучшаться

from lightning.pytorch.callbacks
import EarlyStopping

early_stopping_callback = EarlyStopping(

    monitor='val_loss',

    patience=3,

    mode='min'

)

¹ https://lightning.ai/docs/pytorch/stable/api/lightning.pytorch.callbacks.EarlyStopping.html

Настройка и применение Lightning callbacks

from lightning.pytorch import Trainer
from lightning.pytorch.callbacks import EarlyStopping, ModelCheckpoint

checkpoint = ModelCheckpoint(
    monitor='val_accuracy',
    save_top_k=2,
    mode='max')

early_stopping = EarlyStopping(
    monitor='val_accuracy',
    patience=5,
    mode='max')


trainer = Trainer(max_epochs=50, callbacks=[checkpoint, early_stopping])

¹ https://lightning.ai/docs/pytorch/stable/common/trainer.html

Давайте потренируемся!

Масштабируемые модели ИИ с PyTorch Lightning