Felicitări!
Antrenament eficient al modelelor AI cu PyTorch
Dennis Lee
Data Engineer, Amazon
Parcursul cursului
- Antrenați modele pe mai multe dispozitive
- Pregătit să lucrați cu modele mari, cu miliarde de parametri
- Provocări: constrângeri hardware, timpi lungi de antrenament, limitări de memorie
Pregătirea datelor
Distribuirea datelor și modelului pe dispozitive
Antrenament distribuit
Interfețele Trainer și Accelerator
Interfețele Trainer și Accelerator
Interfețele Trainer și Accelerator
Antrenament eficient
Factori ai eficienței
Factori ai eficienței
- Eficiența memoriei
- Acumularea gradienților: antrenament pe loturi mai mari
- Checkpoint pe gradienți: reducerea amprentei modelului
Factori ai eficienței
- Eficiența memoriei
- Acumularea gradienților: antrenament pe loturi mai mari
- Checkpoint pe gradienți: reducerea amprentei modelului
- Eficiența comunicării: SGD local
Factori ai eficienței
- Eficiența memoriei
- Acumularea gradienților: antrenament pe loturi mai mari
- Checkpoint pe gradienți: reducerea amprentei modelului
- Eficiența comunicării: SGD local
- Eficiența computațională: antrenament cu precizie mixtă
Optimizatori
Compromisuri ale optimizatorilor
Compromisuri ale optimizatorilor
Compromisuri ale optimizatorilor
Pregătit pentru excelență în antrenamentul distribuit
