ยินดีด้วย!
การเทรน AI Model อย่างมีประสิทธิภาพด้วย PyTorch
Dennis Lee
Data Engineer, Amazon
เส้นทางของคอร์ส
- ฝึกโมเดลบนหลายอุปกรณ์พร้อมกัน
- พร้อมรับมือกับโมเดลขนาดใหญ่ที่มีพารามิเตอร์หลายพันล้านตัว
- ความท้าทาย: ข้อจำกัดของฮาร์ดแวร์ เวลาฝึกที่นาน และข้อจำกัดด้านหน่วยความจำ
การเตรียมข้อมูล
กระจายข้อมูลและโมเดลไปยังหลายอุปกรณ์
Distributed training
อินเทอร์เฟซ Trainer และ Accelerator
อินเทอร์เฟซ Trainer และ Accelerator
อินเทอร์เฟซ Trainer และ Accelerator
การฝึกอย่างมีประสิทธิภาพ
ปัจจัยขับเคลื่อนประสิทธิภาพ
ปัจจัยขับเคลื่อนประสิทธิภาพ
- ประสิทธิภาพด้านหน่วยความจำ
- Gradient accumulation: ฝึกด้วยแบตช์ขนาดใหญ่ขึ้น
- Gradient checkpointing: ลดขนาดโมเดล
ปัจจัยขับเคลื่อนประสิทธิภาพ
- ประสิทธิภาพด้านหน่วยความจำ
- Gradient accumulation: ฝึกด้วยแบตช์ขนาดใหญ่ขึ้น
- Gradient checkpointing: ลดขนาดโมเดล
- ประสิทธิภาพด้านการสื่อสาร: local SGD
ปัจจัยขับเคลื่อนประสิทธิภาพ
- ประสิทธิภาพด้านหน่วยความจำ
- Gradient accumulation: ฝึกด้วยแบตช์ขนาดใหญ่ขึ้น
- Gradient checkpointing: ลดขนาดโมเดล
- ประสิทธิภาพด้านการสื่อสาร: local SGD
- ประสิทธิภาพด้านการคำนวณ: mixed precision training
ออปติไมเซอร์
การแลกเปลี่ยนของออปติไมเซอร์
การแลกเปลี่ยนของออปติไมเซอร์
การแลกเปลี่ยนของออปติไมเซอร์
พร้อมเป็นเลิศใน distributed training
