Selamat!
Pelatihan Model AI Efisien dengan PyTorch
Dennis Lee
Data Engineer, Amazon
Perjalanan kursus
- Melatih model di banyak perangkat
- Siap menangani model besar dengan miliaran parameter
- Tantangan: batasan perangkat keras, waktu latih lama, batas memori
Persiapan data
Sebar data dan model ke banyak perangkat
Pelatihan terdistribusi
Antarmuka Trainer dan Accelerator
Antarmuka Trainer dan Accelerator
Antarmuka Trainer dan Accelerator
Pelatihan efisien
Pendorong efisiensi
Pendorong efisiensi
- Efisiensi memori
- Akumulasi gradien: latih dengan batch lebih besar
- Checkpointing gradien: kecilkan jejak model
Pendorong efisiensi
- Efisiensi memori
- Akumulasi gradien: latih dengan batch lebih besar
- Checkpointing gradien: kecilkan jejak model
- Efisiensi komunikasi: SGD lokal
Pendorong efisiensi
- Efisiensi memori
- Akumulasi gradien: latih dengan batch lebih besar
- Checkpointing gradien: kecilkan jejak model
- Efisiensi komunikasi: SGD lokal
- Efisiensi komputasi: pelatihan presisi campuran
Optimizer
Trade-off optimizer
Trade-off optimizer
Trade-off optimizer
Siap unggul dalam pelatihan terdistribusi
