Введение в PyTorch Lightning

Масштабируемые модели ИИ с PyTorch Lightning

Sergiy Tkachuk

Director, GenAI Productivity

PyTorch и PyTorch Lightning

Стандартный PyTorch:

Значительные ручные усилия
Явная запись циклов обучения
Управление GPU/TPU, логирование и чекпоинтинг

PyTorch и PyTorch Lightning

PyTorch Lightning:

Надстройка над PyTorch
Автоматизирует:
- Обучение
- Чекпоинтинг
- Логирование
Сокращает шаблонный код
Улучшает масштабируемость и воспроизводимость

Логотип PyTorch Lightning

Обзор PyTorch Lightning

Пример: оптимизация рабочих процессов в глобальной e-commerce
- Разработка модели визуального поиска
- Автоматизированные циклы обучения
- Быстрая итерация с минимальным шаблонным кодом

Ключевые компоненты: LightningModule и Trainer

from lightning.pytorch import LightningModule
from lightning.pytorch import Trainer

Структура Lightning

Ключевые компоненты:

LightningModule: основная логика модели

Лампочка, символизирующая логику

Структура Lightning

Ключевые компоненты:

LightningModule: основная логика модели
Lightning Trainer: управляет обучением

Лампочка, символизирующая логику, и шестерёнка, символизирующая операции

Структура Lightning

Ключевые компоненты:

LightningModule: основная логика модели
Lightning Trainer: управляет обучением
DataModule: организует конвейеры данных
Callbacks: автоматизирует события
Logger: отслеживает эксперименты

Лампочка, символизирующая логику, и шестерёнка, символизирующая операции

LightningModule в действии

Ключевые моменты:

__init__: задаёт архитектуру модели
forward(): передаёт данные через модель
training_step(): определяет процесс обучения
Доступны пользовательские хуки

import lightning.pytorch as pl

class LightClassifier(pl.LightningModule):
    def __init__(self, model, criterion, optimizer):

        super().__init__()
        self.model = model
        self.criterion = criterion
        self.optimizer = optimizer

    def forward(self, x):
        return self.model(x)

    def training_step(self, batch, batch_idx):
        x, y = batch
        logits = self(x)
        loss = self.criterion(logits, y)
        return loss

Lightning Trainer в действии

Ключевые моменты:

Управляет циклом обучения
Поддерживает распределённое обучение
Обрабатывает callbacks и логирование
Оптимизирует использование ресурсов

model = LightClassifier()



trainer = Trainer(max_epochs=10, accelerator="gpu", devices=1)
trainer.fit(model, train_dataloader, val_dataloader)

Знакомство с набором данных Afro-MNIST

Набор синтетических наборов данных в стиле MNIST для четырёх систем письма афразийских и нигеро-конголезских языков: Гээз (эфиопское письмо), Вай, Османья и Нко.

¹ Wu, Daniel J., Andrew C. Yang, and Vinay U. Prabhu. «Afro-MNIST: Synthetic generation of MNIST-style datasets for low-resource languages.» arXiv preprint arXiv:2009.13509 (2020).

Итоги по PyTorch Lightning

Диаграмма PyTorch Lightning

Давайте потренируемся!

Масштабируемые модели ИИ с PyTorch Lightning