ความสามารถในการปรับขนาด

การพัฒนาโมเดล Machine Learning สำหรับ Production

Sinan Ozdemir

Data Scientist, Entrepreneur, and Author

ข้อจำกัดด้านการคำนวณกับความสามารถในการปรับขนาด

  • CPU, หน่วยความจำ และดิสก์ส่งผลต่อความสามารถในการปรับขนาดของโมเดล ML
  • วัดการใช้งาน CPU, หน่วยความจำ และดิสก์ระหว่างการฝึกและการอนุมาน
  • การระบุปัญหาตั้งแต่เนิ่นๆ ช่วยให้ปรับขนาดโมเดลได้ดีขึ้น

ห้องเซิร์ฟเวอร์

การพัฒนาโมเดล Machine Learning สำหรับ Production

ความซับซ้อนของโมเดลและความสามารถในการปรับขนาด

  • ความซับซ้อนของโมเดลส่งผลต่อความสามารถในการปรับขนาด
  • การสร้างสมดุลระหว่างความซับซ้อนและการปรับขนาดเป็นเรื่องท้าทาย
  • กลยุทธ์ในการสร้างสมดุล:
    • เทคนิคการคัดเลือกฟีเจอร์ (เช่น Chi-squared, PCA)
    • เทคนิคการบีบอัดโมเดล (เช่น pruning)

PCA

Principal Component Analysis (PCA)

การพัฒนาโมเดล Machine Learning สำหรับ Production

ความเร็วในการ deploy และความสามารถในการปรับขนาด

  • การ deploy และ iterate อย่างรวดเร็วมีความสำคัญต่อความแม่นยำและความทันสมัย
  • กลยุทธ์
    • continuous integration/deployment - จะกล่าวถึงในบทเรียนถัดไป
    • online learning - เรียนรู้จากข้อมูลใหม่แบบ real time

นักวิ่ง

การพัฒนาโมเดล Machine Learning สำหรับ Production

กลยุทธ์การปรับขนาดที่เหมาะสม

  • ข้อแลกเปลี่ยน ได้แก่ ต้นทุนการให้บริการ การฝึกใหม่ และความเร็วในการ deploy
  • กลยุทธ์การปรับขนาด: horizontal scaling, vertical scaling, auto-scaling
    • Horizontal scaling: เพิ่มจำนวนเครื่อง
    • Vertical scaling: เพิ่มขนาดของเครื่อง
    • Auto-scaling: ปรับจำนวนเครื่องตาม workload

การปรับขนาด

1 https://www.spiceworks.com/tech/cloud/articles/horizontal-vs-vertical-cloud-scaling
การพัฒนาโมเดล Machine Learning สำหรับ Production

เลือกกลยุทธ์การปรับขนาดที่เหมาะกับคุณ

  • Horizontal scaling ใช้ load balancing และ partitioning

  • ข้อแลกเปลี่ยนของ horizontal scaling: ความซับซ้อน, ต้นทุน ($)

  • Vertical scaling เพิ่มขนาดของเครื่อง

  • ข้อแลกเปลี่ยนของ vertical scaling: ต้นทุน ($)

วิธีที่ดีที่สุด — auto-scale ทั้งแบบ horizontal และ vertical

การปรับขนาด

1 https://www.spiceworks.com/tech/cloud/articles/horizontal-vs-vertical-cloud-scaling
การพัฒนาโมเดล Machine Learning สำหรับ Production

มาฝึกกันเถอะ!

การพัฒนาโมเดล Machine Learning สำหรับ Production

Preparing Video For Download...