การวัดประสิทธิภาพของโมเดล

Machine Learning for Business

Karolis Urbonas

Head of Machine Learning & Science, Amazon

ประเภทการวัดประสิทธิภาพ

เมตริกหลักสำหรับ Supervised Learning:

  1. Accuracy --> การจำแนกประเภท
  2. Error --> การถดถอย
Machine Learning for Business

ประสิทธิภาพการจำแนกประเภท

  • Accuracy

  • Recall

  • Precision

Machine Learning for Business

ตัวอย่างการเลิกใช้บริการ

c1

Machine Learning for Business

ตัวอย่างการเลิกใช้บริการ

c2

Machine Learning for Business

การพยากรณ์การเลิกใช้บริการ

c3

Machine Learning for Business

รายการที่จำแนกผิด

c4

Machine Learning for Business

การพยากรณ์การเลิกใช้บริการอีกกรณี

c5

Machine Learning for Business

Accuracy

acc

Machine Learning for Business

Precision

precision

Machine Learning for Business

Recall

recall

Machine Learning for Business

ประสิทธิภาพการถดถอย

  • Error
Machine Learning for Business

ตัวอย่างการถดถอย

r1

Machine Learning for Business

การพยากรณ์รายได้ด้วยเส้นตรง

r2

Machine Learning for Business

Error ของการถดถอย

r3

Machine Learning for Business

ทดสอบโมเดลแบบไม่เชิงเส้น

r4

Machine Learning for Business

การปรับปรุง Error

r5

Machine Learning for Business

โมเดลที่นำไปใช้งานได้จริง - A/B Testing

โมเดลที่ดีไม่ได้นำไปใช้งานได้เสมอ:

การพยากรณ์การเลิกใช้บริการ, การพยากรณ์การซื้อ, การพยากรณ์ความล้มเหลวของเครื่องจักร

ทดสอบว่าการใช้โมเดลช่วยปรับปรุงผลลัพธ์หรือไม่:

มอบสิ่งจูงใจ (ส่วนลด, คูปอง, โปรโมชัน) แก่ลูกค้าที่คาดว่าจะเลิกใช้บริการ

ส่งอีเมลเตือนและรายละเอียดสินค้าให้ลูกค้าที่มีแนวโน้มจะซื้อ

_ผลลัพธ์คือการเลิกใช้บริการลดลง อัตราการซื้อเพิ่มขึ้น และความล้มเหลวของเครื่องจักรลดลงหรือไม่? ถ้า ใช่ ให้นำไปใช้ในกระบวนการอัตโนมัติ ถ้า ไม่ใช่ ให้เก็บข้อมูลเพิ่ม ปรับปรุงโมเดล แล้วทดสอบใหม่ _

Machine Learning for Business

มาฝึกกันเถอะ!

Machine Learning for Business

Preparing Video For Download...