การประเมินประสิทธิภาพ

แนวคิดการ Monitoring Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

ภาพรวม

อัลกอริทึมประเมินประสิทธิภาพ 2 แบบ:

  • CBPE - งาน classification
  • DLE - งาน regression
แนวคิดการ Monitoring Machine Learning

CBPE - หลักการทำงาน

  • ประมาณค่า confusion matrix

 

  • คำนวณเมตริก classification เช่น accuracy, precision, recall

 

  • จับผลกระทบของ covariate shift ต่อโมเดล

 

อัลกอริทึม CBPE แสดงการทำงาน โดยโมเดลแรกทำนายค่าจากตัวอย่างที่ให้มา แล้วใช้ค่านั้นกำหนดคลาส เช่น ถ้าค่าที่ทำนายได้คือ 0.9 คลาสจะเป็น positive เพราะมากกว่า 0.5 แต่ถ้าต่ำกว่า 0.5 คลาสจะเป็น negative จากนั้นนำ confidence score ของทุกตัวอย่างมารวมกันเพื่อสร้าง confusion matrix โดยประมาณ

แนวคิดการ Monitoring Machine Learning

CBPE - ข้อควรพิจารณา

  • ไม่มี covariate shift ในพื้นที่ที่ไม่เคยเห็น

 

  • ข้อมูลที่เข้ามาไม่มี concept drift

 

  • ต้องการการปรับเทียบความน่าจะเป็น (probability calibration)
แนวคิดการ Monitoring Machine Learning

DLE - หลักการทำงาน

  • ทำนาย absolute error ของโมเดล

 

  • ใช้ child model ภายนอก

 

  • คำนวณเมตริก regression ต่าง ๆ เช่น MAE, MSE, MSLE

 

  • จับการมีอยู่ของ covariate shift ในข้อมูลอินพุต

ภาพแสดงกระบวนการประเมินประสิทธิภาพสำหรับงาน regression ใน production โดยข้อมูล analysis จะถูกป้อนเข้าโมเดลเพื่อสร้างค่าทำนาย จากนั้นค่าทำนายและข้อมูล analysis จะถูกส่งต่อไปยัง child model เพื่อทำนาย error และนำค่า error ที่ได้ไปคำนวณเมตริก regression เพื่อประเมินประสิทธิภาพโมเดล

แนวคิดการ Monitoring Machine Learning

DLE - ข้อควรพิจารณา

  • ไม่มี covariate shift ในพื้นที่ที่ไม่เคยเห็น

 

  • ข้อมูลที่เข้ามาไม่มี concept drift

 

  • ความซับซ้อนที่เพิ่มขึ้น
แนวคิดการ Monitoring Machine Learning

มาฝึกกันเถอะ!

แนวคิดการ Monitoring Machine Learning

Preparing Video For Download...