Menerapkan logika pelatihan

Model AI yang Dapat Diskalakan dengan PyTorch Lightning

Sergiy Tkachuk

Director, GenAI Productivity

Mendefinisikan training step

Proses batch input dan label
Hitung prediksi dengan forward pass
Hitung cross entropy loss untuk klasifikasi
Catat train loss untuk pemantauan

def training_step(self, batch, batch_idx):
    x, y = batch

    y_hat = self(x)

    loss = cross_entropy(y_hat, y)

    self.log("train_loss", loss)
    return loss

Mengonfigurasi optimizer

Pilih optimizer yang sesuai untuk pembaruan
Hubungkan parameter model untuk perhitungan gradien
Tetapkan learning rate yang sesuai untuk konvergensi
Kembalikan instance optimizer untuk integrasi Lightning

def configure_optimizers(self):
    optimizer = torch.optim.Adam(self.parameters(), lr=1e-3)
    return optimizer

Pelatihan dengan Lightning Trainer

Integrasikan logika pelatihan dengan Lightning Trainer
Kelola loop pelatihan dan epoch secara otomatis
Pantau metrik kinerja secara real time

Alur LightningTrainer

Menggunakan trainer.fit dan trainer.validate

Mulai pelatihan dengan metode trainer.fit
Validasi model dengan metode trainer.validate

trainer.fit(model, train_dataloader)

trainer.validate(model, val_dataloader)

Otomatiskan siklus pelatihan dan validasi
Pantau metrik pada kedua fase

Contoh lengkap logika pelatihan

Definisikan LightningModule kustom dengan classifier
Implementasikan training_step untuk menghitung dan mencatat loss
Konfigurasikan optimizer untuk memperbarui parameter model
Latih dan validasi model

class LightClassifier(pl.LightningModule):
    def __init__(self):
        super().__init__()
        self.layer=torch.nn.Linear(28 * 28, 10)
    def forward(self, x):
        return self.layer(x.view(x.size(0), -1))

    def training_step(self, batch, batch_idx):
        ...

    def configure_optimizers(self):
        params=self.parameters()
        optimizer=torch.optim.Adam(params,lr=1e-3)
        return optimizer

model = LightClassifier() # Define classifier model
trainer = Trainer(max_epochs=5) # Define trainer
trainer.fit(model, train_dataloader)
trainer.validate(model, val_dataloader)

Aplikasi industri

Mengapa logika pelatihan penting?

Memastikan pelacakan loss yang akurat untuk kontrol kualitas
Mengoptimalkan pipeline pelatihan untuk deployment skala besar

Contoh nyata:

Tingkatkan analisis citra pada diagnostik kesehatan
Dukung deteksi penipuan di layanan keuangan

Pencitraan kesehatan

Aplikasi industri

Mengapa logika pelatihan penting?

Memastikan pelacakan loss yang akurat untuk kontrol kualitas
Mengoptimalkan pipeline pelatihan untuk deployment skala besar

Contoh nyata:

Tingkatkan analisis citra pada diagnostik kesehatan
Dukung deteksi penipuan di layanan keuangan

Pencitraan kesehatan dan deteksi penipuan

Ayo berlatih!

Model AI yang Dapat Diskalakan dengan PyTorch Lightning