การมอนิเตอร์และการแจ้งเตือน

MLOps Deployment and Life Cycling

Nemanja Radojkovic

Senior Machine Learning Engineer

การตรวจสอบเชิงสถิติ

อาจเป็นได้:

• ไวเกินไป
• ให้ข้อมูลไม่เพียงพอ

 

ความเสี่ยง

• การแจ้งเตือนมากเกินไป
• "Alert fatigue"
• การแจ้งเตือนสำคัญถูกมองข้าม

เรียนรู้จากประวัติที่ผ่านมา

หลังจัดการ incident => บันทึกสาเหตุและขั้นตอนการแก้ไข

ตัวอย่างจาก Google[1]:

• บันทึกและวิเคราะห์ incident กว่า 10 ปี
• > 2/3 ไม่เกี่ยวกับ ML!

¹ How ML Breaks: A Decade of Outages for One Large ML Pipeline, https://www.usenix.org/conference/opml20/presentation/papasian

มาฝึกกันเถอะ!

MLOps Deployment and Life Cycling