Félicitations !
Entraîner efficacement des modèles d’IA avec PyTorch
Dennis Lee
Data Engineer, Amazon
Parcours du cours
- Entraîner des modèles sur plusieurs appareils
- Prêt à gérer de grands modèles avec des milliards de paramètres
- Défis : contraintes matérielles, entraînement long, mémoire limitée
Préparation des données
Distribuer données et modèle sur les appareils
Entraînement distribué
Interfaces Trainer et Accelerator
Interfaces Trainer et Accelerator
Interfaces Trainer et Accelerator
Entraînement efficace
Facteurs d’efficacité
Facteurs d’efficacité
- Efficacité mémoire
- Accumulation de gradients : entraîner sur de plus grands batchs
- Checkpointing de gradients : réduire l’empreinte du modèle
Facteurs d’efficacité
- Efficacité mémoire
- Accumulation de gradients : entraîner sur de plus grands batchs
- Checkpointing de gradients : réduire l’empreinte du modèle
- Efficacité de communication : SGD local
Facteurs d’efficacité
- Efficacité mémoire
- Accumulation de gradients : entraîner sur de plus grands batchs
- Checkpointing de gradients : réduire l’empreinte du modèle
- Efficacité de communication : SGD local
- Efficacité de calcul : entraînement en précision mixte
Optimiseurs
Compromis des optimiseurs
Compromis des optimiseurs
Compromis des optimiseurs
Prêt·e pour l’entraînement distribué
