Вітаємо!
Ефективне тренування моделей ШІ з PyTorch
Dennis Lee
Data Engineer, Amazon
Шлях курсу
- Навчання моделей на кількох пристроях
- Готовність працювати з великими моделями (мільярди параметрів)
- Виклики: обмеження заліза, тривалі обчислення, ліміти пам’яті
Підготовка даних
Розподіл даних і моделі між пристроями
Розподілене навчання
Інтерфейси Trainer і Accelerator
Інтерфейси Trainer і Accelerator
Інтерфейси Trainer і Accelerator
Ефективне навчання
Фактори ефективності
Фактори ефективності
- Ефективність пам’яті
- Накопичення градієнтів: тренування на більших батчах
- Контрольні точки градієнтів: зменшення «ваги» моделі
Фактори ефективності
- Ефективність пам’яті
- Накопичення градієнтів: тренування на більших батчах
- Контрольні точки градієнтів: зменшення «ваги» моделі
- Ефективність комунікацій: локальний SGD
Фактори ефективності
- Ефективність пам’яті
- Накопичення градієнтів: тренування на більших батчах
- Контрольні точки градієнтів: зменшення «ваги» моделі
- Ефективність комунікацій: локальний SGD
- Обчислювальна ефективність: тренування зі змішаною точністю
Оптимізатори
Компроміси оптимізаторів
Компроміси оптимізаторів
Компроміси оптимізаторів
Готові до розподіленого навчання
