MLOps บน Kubernetes

Introduction to Kubernetes

Frank Heilmann

Platform Architect and Freelance Instructor

MLOps คืออะไร?

แนวทางสำหรับการ deploy และดูแลโมเดล machine learning ใน production
ชุด workflow แนวปฏิบัติที่ดีที่สุด โดยเน้นการพัฒนาโมเดลอย่างต่อเนื่อง
ได้รับแรงบันดาลใจจาก DevOps:
- โมเดล machine learning ถูกพัฒนาและทดสอบในระบบทดลองที่แยกออกมา แล้วจึง deploy สู่ production
- เมื่ออยู่ใน production จะมีการ monitoring อย่างต่อเนื่อง และอาจมีการ retrain โมเดลเมื่อจำเป็น
Data scientist, data engineer และทีม IT สามารถทำงานร่วมกันบนโมเดลที่ deploy ไว้ได้พร้อมกัน เพื่อรักษาความแม่นยำของโมเดล

แนวทาง MLOps เข้ากันได้ดีกับ Kubernetes:
- ระบบทดลองแบบแยกออกมา: ทำได้ผ่าน Pods และ Kubernetes Storage
- การ monitoring โมเดล ML ใน production: ทำได้ผ่าน lifecycle ของ Pods (และเวอร์ชัน image ที่ deploy ไว้)
- การทำงานร่วมกันเพื่อความแม่นยำของโมเดล: รองรับตั้งแต่ต้นโดยสถาปัตยกรรมของ Kubernetes
มี framework สำหรับ MLOps หลายตัว โดย 2 โซลูชันโอเพนซอร์สที่รู้จักกันดีที่สุดคือ
- mlflow
- Kubeflow

ภาพรวมของ Kubeflow

Kubeflow ช่วยให้การ deploy ML workflow บน Kubernetes ทำได้ง่ายขึ้น
ครอบคลุมทุกขั้นตอนของ lifecycle โมเดล ML
ประกอบด้วยหลาย component ที่ทำงานได้อิสระจากกัน
ใช้ Python ในการพัฒนาและ deploy โมเดล ML ผ่าน API ได้เลย
- ไม่จำเป็นต้องใช้ kubectl

Introduction to Kubernetes