おめでとうございます！
PyTorch による効率的な AI モデルトレーニング
Dennis Lee
Data Engineer, Amazon
コースの学習経路
- 複数デバイスにわたるモデルのトレーニング
- 数十億パラメータの大規模モデルへの対応
- 課題：ハードウェア制約、長時間のトレーニング、メモリ不足
データ準備
データとモデルをデバイスに分散
分散トレーニング
TrainerとAcceleratorのインターフェース
TrainerとAcceleratorのインターフェース
TrainerとAcceleratorのインターフェース
効率的なトレーニング
効率化の要因
効率化の要因
- メモリ効率
- 勾配累積：大きなバッチでトレーニング
- 勾配チェックポイント：モデルのメモリ使用量を削減
効率化の要因
- メモリ効率
- 勾配累積：大きなバッチでトレーニング
- 勾配チェックポイント：モデルのメモリ使用量を削減
- 通信効率：ローカルSGD
効率化の要因
- メモリ効率
- 勾配累積：大きなバッチでトレーニング
- 勾配チェックポイント：モデルのメモリ使用量を削減
- 通信効率：ローカルSGD
- 計算効率：混合精度トレーニング
オプティマイザー
オプティマイザーのトレードオフ
オプティマイザーのトレードオフ
オプティマイザーのトレードオフ
分散トレーニングを習得
