Gratulacje!
Efektywne trenowanie modeli AI z PyTorch
Dennis Lee
Data Engineer, Amazon
Przebieg kursu
- Trenowanie modeli na wielu urządzeniach
- Gotowość do pracy z dużymi modelami zawierającymi miliardy parametrów
- Wyzwania: ograniczenia sprzętowe, długi czas trenowania, limity pamięci
Przygotowanie danych
Dystrybucja danych i modelu na urządzenia
Trenowanie rozproszone
Interfejsy Trainer i Accelerator
Interfejsy Trainer i Accelerator
Interfejsy Trainer i Accelerator
Efektywne trenowanie
Czynniki efektywności
Czynniki efektywności
- Efektywność pamięci
- Akumulacja gradientów: trenowanie na większych batchach
- Checkpointing gradientów: zmniejszenie śladu pamięciowego modelu
Czynniki efektywności
- Efektywność pamięci
- Akumulacja gradientów: trenowanie na większych batchach
- Checkpointing gradientów: zmniejszenie śladu pamięciowego modelu
- Efektywność komunikacji: lokalny SGD
Czynniki efektywności
- Efektywność pamięci
- Akumulacja gradientów: trenowanie na większych batchach
- Checkpointing gradientów: zmniejszenie śladu pamięciowego modelu
- Efektywność komunikacji: lokalny SGD
- Efektywność obliczeniowa: trenowanie z mieszaną precyzją
Optymalizatory
Kompromisy optymalizatorów
Kompromisy optymalizatorów
Kompromisy optymalizatorów
Gotowość do trenowania rozproszonego
