ระบบอัตโนมัติในกลยุทธ์การ deploy ของ MLOps

MLOps แบบอัตโนมัติเต็มรูปแบบ

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

การ deploy โมเดล - prediction service

ภาพสถาปัตยกรรมอ้างอิง MLOps ที่ไฮไลต์ส่วนประกอบหนึ่ง: prediction service

MLOps แบบอัตโนมัติเต็มรูปแบบ

Prediction service - สรุปรูปแบบการให้บริการ

การให้บริการการพยากรณ์มีหลายรูปแบบ:

  • Batch
  • Streams
  • Real-time
  • On-the-edge
MLOps แบบอัตโนมัติเต็มรูปแบบ

Prediction service - การให้บริการแบบ batch

$$

  • การพยากรณ์จำนวนมาก

$$

  • กำหนดการทำงานเป็นรอบ

$$

  • ทำงานตามเหตุการณ์ที่กระตุ้น

$$

$$

$$

แผนภาพแสดง batch processing โดย input ทั้งหมดถูกส่งเข้า batch processing engine และ output จะถูกส่งออกพร้อมกันหลังประมวลผล input ครบทั้งชุด

MLOps แบบอัตโนมัติเต็มรูปแบบ

Prediction service - การให้บริการแบบ streaming

$$

  • ข้อมูลขาเข้าต่อเนื่อง

$$

  • ส่งผลการพยากรณ์อย่างต่อเนื่อง

$$

$$

แผนภาพแสดง stream processing โดยข้อมูลถูกส่งเข้า stream processing engine อย่างต่อเนื่อง และ output จะถูกส่งออกไปยัง output stream อย่างต่อเนื่องหลังการประมวลผล

MLOps แบบอัตโนมัติเต็มรูปแบบ

Prediction service - real-time

$$

  • ทีละ record

$$

  • พยากรณ์ทันที

$$

$$

realtime_interaction.png

MLOps แบบอัตโนมัติเต็มรูปแบบ

Prediction service - on the edge

$$

  • อุปกรณ์มือถือ

$$

  • อุปกรณ์ IoT

$$

  • ลด latency

$$

ภาพแอปพลิเคชัน IoT ที่รันบนอุปกรณ์แท็บเล็ต

MLOps แบบอัตโนมัติเต็มรูปแบบ

กลยุทธ์การ deploy

$$

ประเภทของ ML serving กำหนดวิธีการ deploy และอัปเดต prediction service

กลยุทธ์การ deploy โมเดลได้แก่:

  • Shadow deployment
  • Canary deployment
  • A/B testing
  • Blue/Green
MLOps แบบอัตโนมัติเต็มรูปแบบ

A/B testing

แผนภาพแสดง A/B testing ใน prediction service โดย prediction request ถูกส่งไปยัง load balancer ซึ่งกระจาย request ไปยังโมเดล A และ B พร้อมติดตาม performance ของทั้งสองโมเดลอย่างต่อเนื่อง

MLOps แบบอัตโนมัติเต็มรูปแบบ

A/B testing

แผนภาพแสดง A/B testing deployment หลังติดตาม performance นานพอ โมเดล B แสดง performance ที่ดีกว่า ระบบจึงโอน request ทั้งหมดไปยังโมเดลที่ดีที่สุด

MLOps แบบอัตโนมัติเต็มรูปแบบ

Shadow deployment

แผนภาพแสดง shadow deployment โดย prediction request ถูกส่งไปยัง load balancer ซึ่งส่ง request ไปยังทั้ง live model และ shadow model แต่มีเพียง live model เท่านั้นที่ส่งผลการพยากรณ์กลับ พร้อมติดตาม performance ของทั้งสองโมเดลอย่างต่อเนื่อง

MLOps แบบอัตโนมัติเต็มรูปแบบ

Blue/Green deployment

แผนภาพแสดง blue/green deployment โดยโมเดลกำลัง live ใน production บน blue environment

MLOps แบบอัตโนมัติเต็มรูปแบบ

Blue/Green deployment

โมเดลที่อัปเดตแล้วถูก deploy ไปยัง replica ของ blue environment ซึ่งเรียกว่า green environment จากนั้น prediction request เริ่มถูกเปลี่ยนเส้นทางจาก blue ไปยัง green environment โดยอัตโนมัติผ่าน traffic switch module

MLOps แบบอัตโนมัติเต็มรูปแบบ

Blue/Green deployment

แผนภาพแสดง blue/green deployment โดย traffic ทั้งหมดถูกสลับจาก blue ไปยัง green environment อย่างค่อยเป็นค่อยไปและอัตโนมัติ

MLOps แบบอัตโนมัติเต็มรูปแบบ

Blue/Green deployment

หลังจาก traffic ถูกสลับทั้งหมดแล้ว blue environment สามารถลบออกได้ green environment ที่มีโมเดลที่อัปเดตแล้วจะกลายเป็น production environment ใหม่

MLOps แบบอัตโนมัติเต็มรูปแบบ

การ deploy และอัปเดต prediction service

$$

ประเภทโมเดลเป็นตัวกำหนดกลยุทธ์การ deploy

ตารางแสดงกลยุทธ์การ deploy และคุณสมบัติใน 4 มิติ ได้แก่ ไม่มี downtime, เงื่อนไขการใช้งาน, ระยะเวลา rollback และค่าใช้จ่ายเพิ่มเติม

MLOps แบบอัตโนมัติเต็มรูปแบบ

มาฝึกกันเถอะ!

MLOps แบบอัตโนมัติเต็มรูปแบบ

Preparing Video For Download...