Félicitations!

Entraînement efficace de modèles d’IA avec PyTorch

Dennis Lee

Data Engineer, Amazon

Parcours du cours

 

Organigramme illustrant les sujets et chapitres du cours.

  • Entraîner des modèles sur plusieurs appareils
  • Prêt à attaquer de grands modèles avec des milliards de paramètres
  • Défis : contraintes matérielles, entraînement long, mémoire limitée
Entraînement efficace de modèles d’IA avec PyTorch

Préparation des données

 

Organigramme illustrant les sujets et chapitres du cours.

Entraînement efficace de modèles d’IA avec PyTorch

Répartir les données et le modèle sur plusieurs appareils

 

Schéma d’entraînement distribué montrant la réplication du modèle et le partitionnement des données.

Entraînement efficace de modèles d’IA avec PyTorch

Entraînement distribué

 

 

Organigramme illustrant les sujets et chapitres du cours.

Entraînement efficace de modèles d’IA avec PyTorch

Interfaces Trainer et Accelerator

Graphique comparant la facilité d’utilisation et la capacité de personnalisation pour Accelerator et Trainer.

Entraînement efficace de modèles d’IA avec PyTorch

Interfaces Trainer et Accelerator

Graphique comparant la facilité d’utilisation et la capacité de personnalisation pour Accelerator et Trainer.

Entraînement efficace de modèles d’IA avec PyTorch

Interfaces Trainer et Accelerator

Graphique comparant la facilité d’utilisation et la capacité de personnalisation pour Accelerator et Trainer.

Entraînement efficace de modèles d’IA avec PyTorch

Entraînement efficace

 

 

Organigramme illustrant les sujets et chapitres du cours.

Entraînement efficace de modèles d’IA avec PyTorch

Facteurs d’efficacité

Icônes représentant l’efficacité mémoire, l’efficacité des communications et l’efficacité de calcul.

Entraînement efficace de modèles d’IA avec PyTorch

Facteurs d’efficacité

Icônes représentant l’efficacité mémoire, l’efficacité des communications et l’efficacité de calcul.

  • Efficacité mémoire
    • Accumulation de gradients : entraîner sur de plus grands lots
    • Checkpointing de gradients : réduire l’empreinte du modèle
Entraînement efficace de modèles d’IA avec PyTorch

Facteurs d’efficacité

Icônes représentant l’efficacité mémoire, l’efficacité des communications et l’efficacité de calcul.

  • Efficacité mémoire
    • Accumulation de gradients : entraîner sur de plus grands lots
    • Checkpointing de gradients : réduire l’empreinte du modèle
  • Efficacité des communications : SGD local
Entraînement efficace de modèles d’IA avec PyTorch

Facteurs d’efficacité

Icônes représentant l’efficacité mémoire, l’efficacité des communications et l’efficacité de calcul.

  • Efficacité mémoire
    • Accumulation de gradients : entraîner sur de plus grands lots
    • Checkpointing de gradients : réduire l’empreinte du modèle
  • Efficacité des communications : SGD local
  • Efficacité de calcul : entraînement en précision mixte
Entraînement efficace de modèles d’IA avec PyTorch

Optimiseurs

 

 

Organigramme illustrant les sujets et chapitres du cours.

Entraînement efficace de modèles d’IA avec PyTorch

Compromis des optimiseurs

Diagramme montrant les compromis entre nombre de paramètres et précision pour AdamW, Adafactor et Adam 8 bits.

Entraînement efficace de modèles d’IA avec PyTorch

Compromis des optimiseurs

Diagramme montrant les compromis entre nombre de paramètres et précision pour AdamW, Adafactor et Adam 8 bits.

Entraînement efficace de modèles d’IA avec PyTorch

Compromis des optimiseurs

Diagramme montrant les compromis entre nombre de paramètres et précision pour AdamW, Adafactor et Adam 8 bits.

Entraînement efficace de modèles d’IA avec PyTorch

Prêt à exceller en entraînement distribué

 

 

Organigramme illustrant les sujets et chapitres du cours.

Entraînement efficace de modèles d’IA avec PyTorch

Bravo!

Entraînement efficace de modèles d’IA avec PyTorch

Preparing Video For Download...