Glückwunsch!
Effizientes KI-Modelltraining mit PyTorch
Dennis Lee
Data Engineer, Amazon
Kursreise
- Modelle über mehrere Geräte trainieren
- Bereit für große Modelle mit Milliarden Parametern
- Herausforderungen: Hardwaregrenzen, lange Trainingszeiten, Speicherlimits
Datenvorbereitung
Daten und Modell über Geräte verteilen
Verteiltes Training
Trainer- und Accelerator-Oberflächen
Trainer- und Accelerator-Oberflächen
Trainer- und Accelerator-Oberflächen
Effizientes Training
Treiber der Effizienz
Treiber der Effizienz
- Speichereffizienz
- Gradient Accumulation: mit größeren Batches trainieren
- Gradient Checkpointing: Modell-Footprint reduzieren
Treiber der Effizienz
- Speichereffizienz
- Gradient Accumulation: mit größeren Batches trainieren
- Gradient Checkpointing: Modell-Footprint reduzieren
- Kommunikationseffizienz: Local SGD
Treiber der Effizienz
- Speichereffizienz
- Gradient Accumulation: mit größeren Batches trainieren
- Gradient Checkpointing: Modell-Footprint reduzieren
- Kommunikationseffizienz: Local SGD
- Recheneffizienz: Mixed Precision Training
Optimizer
Optimizer-Trade-offs
Optimizer-Trade-offs
Optimizer-Trade-offs
Fit für verteiltes Training
