Tăng cường huấn luyện với callback của Lightning

Mô hình AI có khả năng mở rộng với PyTorch Lightning

Sergiy Tkachuk

Director, GenAI Productivity

Callback là gì?

Hàm chạy ở các giai đoạn chính của huấn luyện
Thêm hành động tùy chỉnh mà không rối mã
Tăng linh hoạt và kiểm soát

tổng quan callback

Callback là gì?

from lightning.pytorch.callbacks import Callback

class MyPrintingCallback(Callback):

    def on_train_start(self, trainer, pl_module):
        print("Training is starting")

    def on_train_end(self, trainer, pl_module):
        print("Training is ending")

Thêm hành động tùy chỉnh tại nhiều giai đoạn huấn luyện

Callback ModelCheckpoint của Lightning

Tự động lưu mô hình theo khoảng đặt trước
Chọn chỉ số để theo dõi
Chỉ giữ mô hình tốt nhất

from lightning.pytorch.callbacks
import ModelCheckpoint

checkpoint_callback = ModelCheckpoint(

    monitor='val_loss',

    dirpath='my/path/',

    filename='{epoch}-{val_loss:.2f}',

    save_top_k=1,

    mode='min'

)

¹ https://lightning.ai/docs/pytorch/stable/api/lightning.pytorch.callbacks.ModelCheckpoint.html

Callback EarlyStopping của Lightning

Theo dõi một chỉ số
Dừng huấn luyện khi chỉ số không còn cải thiện

from lightning.pytorch.callbacks
import EarlyStopping

early_stopping_callback = EarlyStopping(

    monitor='val_loss',

    patience=3,

    mode='min'

)

¹ https://lightning.ai/docs/pytorch/stable/api/lightning.pytorch.callbacks.EarlyStopping.html

Tùy chỉnh và dùng callback của Lightning

from lightning.pytorch import Trainer
from lightning.pytorch.callbacks import EarlyStopping, ModelCheckpoint

checkpoint = ModelCheckpoint(
    monitor='val_accuracy',
    save_top_k=2,
    mode='max')

early_stopping = EarlyStopping(
    monitor='val_accuracy',
    patience=5,
    mode='max')


trainer = Trainer(max_epochs=50, callbacks=[checkpoint, early_stopping])

¹ https://lightning.ai/docs/pytorch/stable/common/trainer.html

Ayo berlatih!

Mô hình AI có khả năng mở rộng với PyTorch Lightning