Covariate shift คืออะไร?

แนวคิดการ Monitoring Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

นิยาม

covariate variables $=$ ฟีเจอร์อินพุต
$P(X)$ เปลี่ยนแปลง
ความน่าจะเป็นร่วม $P(Y|X)$ ยังคงเดิม
การเปลี่ยนแปลงในการแจกแจงร่วมของ covariates

ทำไมต้องใช้การแจกแจงความน่าจะเป็นร่วม?

กราฟแสดงความสัมพันธ์เชิงบวกและเชิงลบระหว่างฟีเจอร์ที่ 1 กับฟีเจอร์ที่ 2 โดยความสัมพันธ์เชิงบวกพบในสัปดาห์ที่ 10 แสดงด้วยสีน้ำเงิน ส่วนความสัมพันธ์เชิงลบพบในสัปดาห์ที่ 16 แสดงด้วยสีแดง

Covariate shift เกิดขึ้นได้อย่างไร?

สาเหตุที่อาจทำให้เกิด covariate shift:

โลกจริงไม่หยุดนิ่ง รูปแบบและแนวโน้มเปลี่ยนแปลงอยู่เสมอ
การเปลี่ยนแหล่งข้อมูล ความแตกต่างในวิธีเก็บข้อมูลระหว่างการทดสอบและการใช้งานจริง
วิวัฒนาการของระบบและสภาพแวดล้อม

Covariate shift เกิดขึ้นในรูปแบบใดบ้าง?

ลักษณะการเปลี่ยนแปลงของการแจกแจง:

แบบฉับพลัน

แบบค่อยเป็นค่อยไป

แบบตามฤดูกาล

ภาพแสดงการเปลี่ยนแปลงการแจกแจงข้อมูลแบบฉับพลัน โดยเริ่มต้นการแจกแจงเป็นจุดสีน้ำเงิน จากนั้นเปลี่ยนเป็นจุดสีแดงอย่างรวดเร็ว

ภาพแสดงการเปลี่ยนแปลงการแจกแจงข้อมูลแบบค่อยเป็นค่อยไป โดยเริ่มจากจุดสีน้ำเงิน ค่อยๆ เปลี่ยนเป็นสีแดง แล้วกลับมาเป็นสีน้ำเงินอีกครั้ง

ภาพแสดงการเปลี่ยนแปลงการแจกแจงข้อมูลตามฤดูกาล โดยการแจกแจงสลับระหว่างสีน้ำเงินและสีแดงซ้ำๆ สะท้อนลักษณะเป็นรอบของข้อมูล

จะตรวจจับ covariate shift ได้อย่างไร?

วิธี Univariate

การแจกแจงค่าจากข้อมูล production รายเดือนตั้งแต่เดือนกันยายนถึงมีนาคม รวม 7 การแจกแจง จากเดือนกันยายนถึงธันวาคมการแจกแจงคล้ายกันและมีการเปลี่ยนแปลงเล็กน้อยอยู่ในเกณฑ์ที่ยอมรับได้จึงแสดงด้วยสีน้ำเงิน ส่วนเดือนมกราคมถึงมีนาคมการแจกแจงหดตัวและค่าเฉลี่ยเคลื่อนลง จึงแสดงด้วยสีแดง

วิธี Multivariate

ขั้นตอนการตรวจจับ drift แบบ multivariate โดยบีบอัดข้อมูลหลายมิติลงสู่ latent space แล้วคลายการบีบอัดกลับสู่รูปแบบเดิมพร้อมค่าความผิดพลาด

¹ https://app.datacamp.com/learn/courses/dimensionality-reduction-in-python

มาฝึกกันเถอะ!

แนวคิดการ Monitoring Machine Learning