Поздравляем!
Эффективное обучение моделей ИИ с PyTorch
Dennis Lee
Data Engineer, Amazon
Путь по курсу
- Обучение моделей на нескольких устройствах
- Готовность к работе с крупными моделями с миллиардами параметров
- Проблемы: аппаратные ограничения, длительное обучение, нехватка памяти
Подготовка данных
Распределение данных и модели по устройствам
Распределённое обучение
Интерфейсы Trainer и Accelerator
Интерфейсы Trainer и Accelerator
Интерфейсы Trainer и Accelerator
Эффективное обучение
Факторы эффективности
Факторы эффективности
- Эффективность памяти
- Накопление градиентов: обучение на больших батчах
- Контрольные точки градиентов: уменьшение объёма модели
Факторы эффективности
- Эффективность памяти
- Накопление градиентов: обучение на больших батчах
- Контрольные точки градиентов: уменьшение объёма модели
- Эффективность коммуникаций: локальный SGD
Факторы эффективности
- Эффективность памяти
- Накопление градиентов: обучение на больших батчах
- Контрольные точки градиентов: уменьшение объёма модели
- Эффективность коммуникаций: локальный SGD
- Вычислительная эффективность: обучение со смешанной точностью
Оптимизаторы
Компромиссы оптимизаторов
Компромиссы оптимизаторов
Компромиссы оптимизаторов
Готовы к распределённому обучению
