จะรับมือกับ concept drift ได้อย่างไร?

แนวคิดการ Monitoring Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

การตรวจจับ concept drift

  • วิธีที่อิงตามค่าความผิดพลาด
    • ติดตามการเปลี่ยนแปลงของค่าความผิดพลาดตามเวลา
    • ต้องใช้ ground truth

 

  • ฝึกโมเดลใหม่โดยใช้ข้อมูลฝึกและข้อมูล production
    • การเปลี่ยนแปลงของการทำนายคือ concept drift
    • ค่าใช้จ่ายสูงในกรณีที่ซับซ้อนมากขึ้น
แนวคิดการ Monitoring Machine Learning

การฝึกโมเดลใหม่

ภาพแสดงกราฟ 2 กราฟ กราฟแรกแสดงความแม่นยำของโมเดลที่ลดลงอย่างค่อยเป็นค่อยไปตามเวลา ส่วนกราฟที่สองแสดงความแม่นยำที่ลดลงเล็กน้อย ก่อนที่จะมีการฝึกโมเดลใหม่จนความแม่นยำเพิ่มขึ้น และกระบวนการนี้จะเกิดซ้ำเป็นระยะ

ข้อดี :

  • โมเดลอัปเดตให้ทันกับรูปแบบข้อมูลล่าสุด

 

ข้อเสีย :

  • ต้นทุนสูงขึ้นและมีความเสี่ยงต่อความล้มเหลว
  • ไม่ได้ระบุสาเหตุที่แท้จริงของปัญหา
แนวคิดการ Monitoring Machine Learning

Online learning

ภาพแสดงวงจรของ online learning ซึ่งข้อมูลจากแอปจะถูกส่งไปยังฐานข้อมูลและนำไปอัปเดตโมเดลทันที จากนั้นโมเดลที่อัปเดตแล้วจะถูก deploy ใหม่เพื่อใช้งานต่อไป

ข้อดี :

  • ปรับตัวแบบ real-time ต่อสภาวะที่เปลี่ยนแปลง

 

ข้อเสีย :

  • ต้องการ ground truth อย่างต่อเนื่อง
  • อ่อนไหวต่อ noise
  • ต้องปรับพารามิเตอร์อย่างรอบคอบ
แนวคิดการ Monitoring Machine Learning

วิธีแก้ปัญหาอื่น ๆ

 

  • โมเดลเฉพาะสำหรับเหตุการณ์ที่เกิดซ้ำ

 

  • การกำหนดน้ำหนักให้ข้อมูลใหม่
    • การให้ความสำคัญกับข้อมูลล่าสุดมากขึ้น ช่วยให้โมเดลปรับตัวได้ง่ายขึ้น

 

ภาพแสดงไทม์ไลน์ที่ deploy โมเดลปกติในวันที่ 23 พฤศจิกายน จากนั้น deploy โมเดล Black Friday ในวันที่ 24 พฤศจิกายน และ deploy โมเดลปกติอีกครั้งหลังจากนั้น

แนวคิดการ Monitoring Machine Learning

มาฝึกกันเถอะ!

แนวคิดการ Monitoring Machine Learning

Preparing Video For Download...