Gratulujeme!
Efficient AI Model Training with PyTorch
Dennis Lee
Data Engineer, Amazon
Průběh kurzu
- Trénování modelů na více zařízeních
- Připraveni pracovat s velkými modely s miliardami parametrů
- Výzvy: hardwarová omezení, dlouhé doby trénování, paměťová omezení
Příprava dat
Distribuce dat a modelu napříč zařízeními
Distribuované trénování
Rozhraní Trainer a Accelerator
Rozhraní Trainer a Accelerator
Rozhraní Trainer a Accelerator
Efektivní trénování
Faktory efektivity
Faktory efektivity
- Paměťová efektivita
- Akumulace gradientů: trénování na větších dávkách
- Kontrolní body gradientů: snížení paměťových nároků modelu
Faktory efektivity
- Paměťová efektivita
- Akumulace gradientů: trénování na větších dávkách
- Kontrolní body gradientů: snížení paměťových nároků modelu
- Komunikační efektivita: lokální SGD
Faktory efektivity
- Paměťová efektivita
- Akumulace gradientů: trénování na větších dávkách
- Kontrolní body gradientů: snížení paměťových nároků modelu
- Komunikační efektivita: lokální SGD
- Výpočetní efektivita: trénování se smíšenou přesností
Optimalizátory
Kompromisy optimalizátorů
Kompromisy optimalizátorů
Kompromisy optimalizátorů
Připraveni na distribuované trénování
