Concept drift คืออะไร?

แนวคิดการ Monitoring Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

นิยาม

  • ความสัมพันธ์ระหว่าง input ของโมเดลและ target เปลี่ยนแปลงไป
  • $P(Y|X)$ เปลี่ยน แต่ $P(X)$ คงเดิม

ภาพแสดงการเปลี่ยนแปลงความสัมพันธ์ระหว่างรายได้และอายุในสภาพแวดล้อม production เทียบกับ training

แนวคิดการ Monitoring Machine Learning

drift เกิดขึ้นได้อย่างไร?

  • เหตุการณ์ภายนอก
    • เทรนด์ไวรัล การเปลี่ยนแปลงนโยบาย
  • ฤดูกาลที่ไม่ได้จำลองไว้
    • เช่น Black Friday หรือคริสต์มาสในการพยากรณ์ความต้องการ

  • การเปลี่ยนแปลงกระบวนการสร้างข้อมูล

    • การอัปเดตแอปเก็บข้อมูล

  • พฤติกรรมผู้ใช้ที่เปลี่ยนไป

    • นิสัย รูปแบบ และความชอบเปลี่ยนแปลงอยู่ตลอดเวลา
แนวคิดการ Monitoring Machine Learning

ลักษณะการเกิด concept drift

  • Sudden drift — concept ใหม่เกิดขึ้นในระยะเวลาสั้น

 

  • Gradual drift — concept ใหม่ค่อยๆ แทนที่ concept เดิม

 

  • Reoccurring — concept เดิมกลับมาซ้ำตามช่วงเวลา

ภาพแสดงข้อความ Covid-19

ภาพแสดงธนบัตรอเมริกัน

ภาพแสดงโปสเตอร์ลดราคา 50% ในช่วง Black Friday

แนวคิดการ Monitoring Machine Learning

ผลของ covariate shift ต่อ concept drift

  • เชิงลบ
    • ผลกระทบของ concept drift ลดลง

 

 

  • เชิงบวก
    • ผลกระทบของ concept drift รุนแรงขึ้น

ภาพแสดง covariate shift ระหว่างช่วง training และ production โดย feature รายได้เปลี่ยนจาก 80k/year เป็น 100k/year และกราฟที่สองแสดง concept drift ที่บ่งชี้ว่าผู้สมัครที่มีรายได้ต่ำมีความน่าจะเป็นในการผิดนัดชำระสินเชื่อสูงขึ้น

ภาพแสดง covariate shift ระหว่างช่วง training และ production โดย feature รายได้เปลี่ยนจาก 80k/year เป็น 60k/year และกราฟที่สองแสดง concept drift ที่บ่งชี้ว่าผู้สมัครที่มีรายได้ต่ำมีความน่าจะเป็นในการผิดนัดชำระสินเชื่อสูงขึ้น

แนวคิดการ Monitoring Machine Learning

มาฝึกกันเถอะ!

แนวคิดการ Monitoring Machine Learning

Preparing Video For Download...