Congratulazioni!
Efficient AI Model Training with PyTorch
Dennis Lee
Data Engineer, Amazon
Percorso del corso
- Allena modelli su più dispositivi
- Prontə per modelli grandi con miliardi di parametri
- Sfide: hardware, tempi lunghi, limiti di memoria
Preparazione dati
Distribuisci dati e modello tra dispositivi
Training distribuito
Interfacce Trainer e Accelerator
Interfacce Trainer e Accelerator
Interfacce Trainer e Accelerator
Training efficiente
Fattori di efficienza
Fattori di efficienza
- Efficienza di memoria
- Accumulo dei gradienti: addestra con batch più grandi
- Checkpointing dei gradienti: riduci l'impronta del modello
Fattori di efficienza
- Efficienza di memoria
- Accumulo dei gradienti: addestra con batch più grandi
- Checkpointing dei gradienti: riduci l'impronta del modello
- Efficienza di comunicazione: SGD locale
Fattori di efficienza
- Efficienza di memoria
- Accumulo dei gradienti: addestra con batch più grandi
- Checkpointing dei gradienti: riduci l'impronta del modello
- Efficienza di comunicazione: SGD locale
- Efficienza computazionale: training a precisione mista
Ottimizzatori
Compromessi degli ottimizzatori
Compromessi degli ottimizzatori
Compromessi degli ottimizzatori
Prontə a eccellere nel training distribuito
