Meningkatkan pelatihan dengan callback Lightning

Model AI yang Dapat Diskalakan dengan PyTorch Lightning

Sergiy Tkachuk

Director, GenAI Productivity

Apa itu callback?

Fungsi yang dieksekusi pada tahap kunci pelatihan
Tambahkan aksi kustom tanpa membuat kode berantakan
Tingkatkan fleksibilitas dan kontrol

ikhtisar callback

Apa itu callback?

from lightning.pytorch.callbacks import Callback

class MyPrintingCallback(Callback):

    def on_train_start(self, trainer, pl_module):
        print("Training is starting")

    def on_train_end(self, trainer, pl_module):
        print("Training is ending")

Menambahkan aksi kustom pada berbagai tahap pelatihan

Callback Lightning ModelCheckpoint

Menyimpan model otomatis pada interval tertentu
Pilih metrik untuk dilacak
Simpan hanya model terbaik

from lightning.pytorch.callbacks
import ModelCheckpoint

checkpoint_callback = ModelCheckpoint(

    monitor='val_loss',

    dirpath='my/path/',

    filename='{epoch}-{val_loss:.2f}',

    save_top_k=1,

    mode='min'

)

¹ https://lightning.ai/docs/pytorch/stable/api/lightning.pytorch.callbacks.ModelCheckpoint.html

Callback Lightning EarlyStopping

Pantau metrik
Hentikan pelatihan saat metrik tidak membaik

from lightning.pytorch.callbacks
import EarlyStopping

early_stopping_callback = EarlyStopping(

    monitor='val_loss',

    patience=3,

    mode='min'

)

¹ https://lightning.ai/docs/pytorch/stable/api/lightning.pytorch.callbacks.EarlyStopping.html

Kustomisasi dan penggunaan callback Lightning

from lightning.pytorch import Trainer
from lightning.pytorch.callbacks import EarlyStopping, ModelCheckpoint

checkpoint = ModelCheckpoint(
    monitor='val_accuracy',
    save_top_k=2,
    mode='max')

early_stopping = EarlyStopping(
    monitor='val_accuracy',
    patience=5,
    mode='max')


trainer = Trainer(max_epochs=50, callbacks=[checkpoint, early_stopping])

¹ https://lightning.ai/docs/pytorch/stable/common/trainer.html

Ayo berlatih!

Model AI yang Dapat Diskalakan dengan PyTorch Lightning