Gefeliciteerd!
Efficiënt AI-modellen trainen met PyTorch
Dennis Lee
Data Engineer, Amazon
Cursuspad
- Train modellen op meerdere devices
- Klaar voor grote modellen met miljarden parameters
- Uitdagingen: hardware, lange traintijden, geheugengrenzen
Datavoorbereiding
Verspreid data en model over devices
Distributed training
Trainer- en Accelerator-interfaces
Trainer- en Accelerator-interfaces
Trainer- en Accelerator-interfaces
Efficiënt trainen
Drivers van efficiëntie
Drivers van efficiëntie
- Geheugenefficiëntie
- Gradient accumulation: trainen met grotere batches
- Gradient checkpointing: modelvoetafdruk verkleinen
Drivers van efficiëntie
- Geheugenefficiëntie
- Gradient accumulation: trainen met grotere batches
- Gradient checkpointing: modelvoetafdruk verkleinen
- Communicatie-efficiëntie: local SGD
Drivers van efficiëntie
- Geheugenefficiëntie
- Gradient accumulation: trainen met grotere batches
- Gradient checkpointing: modelvoetafdruk verkleinen
- Communicatie-efficiëntie: local SGD
- Rekenefficiëntie: mixed precision training
Optimizers
Trade-offs van optimizers
Trade-offs van optimizers
Trade-offs van optimizers
Klaar voor uitblinken in distributed training
