วิธีตรวจจับ covariate shift

แนวคิดการ Monitoring Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

การตรวจจับ multivariate drift

  • ตรวจหาการเปลี่ยนแปลงใน joint distribution

 

 

  • ใช้อัลกอริทึม PCA สำหรับบีบอัดข้อมูล

 

 

  • ใช้ reconstruction error เป็นตัววัด drift

ภาพแสดงขั้นตอนการตรวจจับ multivariate drift โดยบีบอัดข้อมูลหลายมิติไปยัง latent space แล้วถอดคืนกลับสู่รูปแบบเดิมพร้อม reconstruction บางส่วน

กราฟแสดงความผันผวนของ reconstruction drift error ตามเวลา

แนวคิดการ Monitoring Machine Learning

การตรวจจับ univariate drift

ประเภทของตัวแปร:

  • Categorical — แทนประเภทของข้อมูลที่แบ่งเป็นกลุ่มได้ เช่น สถานภาพสมรส สถานะการสูบบุหรี่ ระดับการศึกษา

 

  • Continuous — ตัวแปรที่มีค่าจริงได้ไม่จำกัดในช่วงที่กำหนด เช่น ส่วนสูง น้ำหนัก ระยะทาง เวลา
แนวคิดการ Monitoring Machine Learning

วิธีสำหรับข้อมูล Continuous - Jensen-Shannon

  • วัดความคล้ายคลึงของสองการแจกแจง

  • ช่วงค่า [0, 1]

  • ตรวจจับ drift ที่มีขนาดเล็กแต่มีนัยสำคัญได้

ภาพแสดงการเปลี่ยนแปลงของการแจกแจงที่วัดด้วย Jensen-Shannon distance

แนวคิดการ Monitoring Machine Learning

วิธีสำหรับข้อมูล Continuous - Wasserstein

  • ความพยายามขั้นต่ำในการแปลงการแจกแจงหนึ่งไปเป็นอีกการแจกแจงหนึ่ง

  • ช่วงค่า [0, +inf]

  • ไวต่อ outlier

ภาพแสดงการเปลี่ยนแปลงของการแจกแจงที่วัดด้วย Wasserstein distance

แนวคิดการ Monitoring Machine Learning

วิธีสำหรับข้อมูล Continuous - Kolmogorov-Smirnov

  • ระยะห่างสูงสุดของ cumulative distribution functions

  • ช่วงค่า [0, 1]

  • มีแนวโน้มเกิด false positive

ภาพแสดงการเปลี่ยนแปลงของการแจกแจงที่วัดด้วย Kolmogorov-Smirnov distance

แนวคิดการ Monitoring Machine Learning

วิธีสำหรับข้อมูล Continuous - Hellinger

  • ส่วนที่ทับซ้อนกันระหว่างการแจกแจง
  • ช่วงค่า [0, 1]
  • ไม่สามารถแยกแยะ shift ที่รุนแรงได้

 

วิธีสำหรับข้อมูล Continuous - คำแนะนำ

  • Jensen-Shannon และ Wasserstein โดยทั่วไปให้ผลดี

ภาพแสดงการเปลี่ยนแปลงของการแจกแจงที่วัดด้วย Hellinger distance

แนวคิดการ Monitoring Machine Learning

วิธีสำหรับข้อมูล Categorical - Chi-squared

  • ไวต่อการเปลี่ยนแปลงในหมวดหมู่ที่มีความถี่ต่ำ

ภาพแสดง chi-squared statistic สำหรับตัวแปร categorical ที่มีสองหมวดหมู่ คือ a และ b

แนวคิดการ Monitoring Machine Learning

วิธีสำหรับข้อมูล Categorical - L-infinity

  • ระบุ shift ที่มีนัยสำคัญที่สุดในทุกหมวดหมู่

ภาพแสดง L-Infinity method สำหรับตัวแปร categorical ที่มีสามหมวดหมู่ คือ a, b และ c

แนวคิดการ Monitoring Machine Learning

วิธีสำหรับข้อมูล Categorical - Jensen-Shannon และ Hellinger

  • Jensen-Shannon หรือ L-Infinity เมื่อมีหมวดหมู่จำนวนมาก
  • L-Infinity distance สำหรับตรวจจับการเปลี่ยนแปลงในแต่ละหมวดหมู่

ภาพแสดง Jensen-Shannon และ Hellinger methods สำหรับตัวแปร categorical ที่มีสามหมวดหมู่ คือ a, b และ c

แนวคิดการ Monitoring Machine Learning

มาฝึกกันเถอะ!

แนวคิดการ Monitoring Machine Learning

Preparing Video For Download...