การติดตามประสิทธิภาพทางเทคนิคโดยตรง

แนวคิดการ Monitoring Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

ความสัมพันธ์ระหว่าง Covariate shift กับประสิทธิภาพ

Covariate shift สามประเภท:

  • Shift ไปยังกลุ่มที่ชัดเจน

    • คนรายได้สูงสมัครสินเชื่อมากขึ้น

  • Shift ไปยังกลุ่มที่ไม่ครอบคลุมในข้อมูล

    • คนในวงการเทคโนโลยีสมัคร 10% แทนที่จะเป็น 0.5% ในข้อมูลฝึก

  • Shift ไปยังกลุ่มที่ไม่แน่นอน

    • คนรายได้ปานกลางที่อยู่ใกล้ขอบการตัดสินใจเพิ่มจาก 20% เป็น 40%

 

-> ไม่กระทบ

 

-> ผลกระทบไม่แน่นอน

 

-> ผลกระทบเชิงลบ

แนวคิดการ Monitoring Machine Learning

ผลกระทบเชิงลบที่หลีกเลี่ยงไม่ได้

 
 
 
 

Covariate shift ไปยังกลุ่มที่ไม่แน่นอนจะส่งผลเชิงลบต่อประสิทธิภาพเสมอ

การแสดงภาพช่วงฝึกโมเดลเน้นบริเวณที่โมเดลมีความมั่นใจน้อยที่สุด แต่ในช่วง production มีผู้ใช้อยู่ในบริเวณนี้มากกว่าเดิม

แนวคิดการ Monitoring Machine Learning

ปัญหาการแจ้งเตือนเท็จ

ภาพแสดงจุดที่แทนการแจ้งเตือน และวิธีที่การแจ้งเตือนสำคัญอาจหายไปในกองการแจ้งเตือนจำนวนมาก

แนวคิดการ Monitoring Machine Learning

ความสำคัญของประสิทธิภาพทางเทคนิค

  • เมตริกโดยตรงที่สะท้อนว่าโมเดลทำงานได้ดีแค่ไหน

 

  • สะท้อนความล้มเหลวที่ซ่อนอยู่ของโมเดล

 

  • ลดปัญหาการแจ้งเตือนเท็จจำนวนมาก

ภาพแสดงส่วนหนึ่งของไดอะแกรมการติดตาม มีกล่อง "การติดตามประสิทธิภาพ" ด้านบน เชื่อมด้วยเส้นประกับกล่องประถามว่าโมเดลยังทำงานได้ดีอยู่ไหม ด้านขวามีรูปเพชรแสดง "ประสิทธิภาพลดลง" แล้วมีลูกศรพร้อมคำว่า "ใช่" และลูกศรวนกลับไปที่กล่องติดตามพร้อมคำว่า "ไม่ใช่"

แนวคิดการ Monitoring Machine Learning

มาฝึกกันเถอะ!

แนวคิดการ Monitoring Machine Learning

Preparing Video For Download...