ความท้าทายในการติดตามโมเดล ML

แนวคิดการ Monitoring Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

องค์ประกอบของโปรเจกต์ machine learning

แผนภาพเวนน์สามวงแสดงสาขาวิศวกรรมซอฟต์แวร์ การวิเคราะห์ข้อมูล และ machine learning โดยจุดตัดของทั้งสามวงแทนสาขา data science

แนวคิดการ Monitoring Machine Learning

โมเดลไม่สามารถทำนายได้

ปัญหาที่อาจเกิดขึ้น :

  • ความแตกต่างของภาษา - การรวมภาษาโปรแกรมหลายภาษาด้วยโค้ด "glue"

 

  • การดูแลรักษาโค้ด - ปัญหาความเข้ากันไม่ได้เมื่อ dependency ได้รับการอัปเดต

 

  • ปัญหาการขยายระบบ - โครงสร้างพื้นฐานไม่รองรับผู้ใช้ที่เพิ่มขึ้น
แนวคิดการ Monitoring Machine Learning

ผลการทำนายของโมเดลล้มเหลว

Covariate shift

  • การเปลี่ยนแปลงในการกระจายตัวของข้อมูล input
  • ตรวจพบได้ด้วยวิธีทางสถิติ
  • ไม่ใช่ทุก drift ที่ส่งผลต่อประสิทธิภาพ

 

กราฟการกระจายตัวแบบ density เปรียบเทียบอายุของลูกค้าในชุดข้อมูล training และ production พบว่าชุด training เบ้ไปทางค่าอายุต่ำ ขณะที่ชุด production มีรูปร่างคล้ายกันแต่มียอดพุ่งที่ค่าอายุสูง

Concept drift

  • การเปลี่ยนแปลงความสัมพันธ์ระหว่างข้อมูล input และ target
  • ตรวจพบได้ยาก
  • มักส่งผลกระทบต่อผลลัพธ์ทางธุรกิจของโมเดลเสมอ

แสดงความสัมพันธ์ระหว่าง customer lifetime value (CLV) กับฟีเจอร์ Age ทั้งในชุด training และ production โดยความสัมพันธ์เปลี่ยนไปใน production ซึ่งเป็นสัญญาณของ concept drift

แนวคิดการ Monitoring Machine Learning

ความพร้อมของ ground truth

ภาพร้านขายเสื้อผ้า

แนวคิดการ Monitoring Machine Learning

มาฝึกกันเถอะ!

แนวคิดการ Monitoring Machine Learning

Preparing Video For Download...