เวิร์กโฟลว์การมอนิเตอร์ที่เหมาะสม

แนวคิดการ Monitoring Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

เวิร์กโฟลว์การมอนิเตอร์

เวิร์กโฟลว์การมอนิเตอร์แบบดั้งเดิม

  • คำนวณประสิทธิภาพเชิงเทคนิค

  • แจ้งเตือนตามการดริฟต์ของข้อมูลอินพุต

  • ส่งผลให้เกิดการแจ้งเตือนเท็จจำนวนมาก

เวิร์กโฟลว์การมอนิเตอร์ที่เหมาะสม

  • การมอนิเตอร์ประสิทธิภาพเชิงเทคนิค

    • คำนวณและประมาณค่าประสิทธิภาพ

  • การวิเคราะห์สาเหตุที่แท้จริง

    • เชื่อมโยงการดริฟต์กับการลดลงของประสิทธิภาพได้

 

เวิร์กโฟลว์การมอนิเตอร์ที่เหมาะสม ซึ่งเริ่มต้นด้วยการมอนิเตอร์ประสิทธิภาพ หากพบการเสื่อมถอย จะดำเนินการวิเคราะห์สาเหตุที่แท้จริง และสุดท้ายแก้ไขปัญหา

แนวคิดการ Monitoring Machine Learning

การมอนิเตอร์ประสิทธิภาพ

ประกอบด้วย:

  • การคำนวณประสิทธิภาพ — สำหรับเมตริกเชิงเทคนิค เช่น ความแม่นยำ

 

  • การประมาณค่าประสิทธิภาพ — เมื่อไม่มี ground truth

 

  • การวัดผลกระทบทางธุรกิจ — มอนิเตอร์ตัวชี้วัดประสิทธิภาพหลัก

  กราฟแสดงความแม่นยำตามเวลา โดยความแม่นยำลดลงและเกินค่าเกณฑ์ที่กำหนด

กราฟ KPI เทียบกับเวลา แสดงให้เห็นว่า KPI อยู่ภายในค่าเกณฑ์ที่กำหนดตลอดเวลา

แนวคิดการ Monitoring Machine Learning

การวิเคราะห์สาเหตุที่แท้จริง

เป้าหมายคือการตรวจสอบ:

 

  • Covariate shift — การเปลี่ยนแปลงการกระจายของข้อมูลอินพุต

 

  • Concept drift — การเปลี่ยนแปลงความสัมพันธ์ระหว่างฟีเจอร์และเป้าหมาย

กราฟแสดงเส้นแบ่งการตัดสินใจระหว่างวงกลมสีน้ำเงินและสีแดงของโมเดลที่ทำงานปกติ

กราฟแสดงวงกลมสีน้ำเงินที่ข้ามเส้นแบ่งการตัดสินใจ ซึ่งบ่งชี้ถึง covariate shift

กราฟแสดงการเปลี่ยนแปลงของเส้นแบ่งการตัดสินใจ ซึ่งบ่งชี้ถึง concept drift

แนวคิดการ Monitoring Machine Learning

การแก้ไขปัญหา

แนวทางแก้ไขที่เป็นไปได้:

  • การ Retrain โมเดล — ต้องใช้ข้อมูลและทรัพยากรการประมวลผลเพิ่มเติม

 

  • การ Refactor กรณีใช้งาน — ถอยกลับมาทบทวนวิธีการที่ใช้อยู่

 

  • การปรับกระบวนการปลายทาง — ปรับเปลี่ยนกระบวนการที่เกี่ยวข้องกับการพยากรณ์

  ภาพแสดงสมองดิจิทัลที่แทนโมเดล machine learning เชื่อมต่อกับฐานข้อมูล สื่อถึงกระบวนการ retrain โมเดลด้วยข้อมูลเพิ่มเติม

ภาพแสดงกระดานวาดแบบที่มีคำถามเกี่ยวกับ feature engineering ฟีเจอร์ที่ใช้ และ linear regression

ภาพแสดงผู้ใช้งานกำลังตรวจสอบข้อมูลด้วยตนเองบนคอมพิวเตอร์

แนวคิดการ Monitoring Machine Learning

มาฝึกกันเถอะ!

แนวคิดการ Monitoring Machine Learning

Preparing Video For Download...