เมตริกของโมเดล

Marketing Analytics: การพยากรณ์การเลิกใช้บริการของลูกค้าด้วย Python

Mark Peterson

Director of Data Science, Infoblox

คลาสที่ไม่สมดุล

telco['Churn'].value_counts()

no     2850
yes     483
Name: Churn, dtype: int64

• Accuracy ไม่ใช่เมตริกที่มีประโยชน์มากนัก

Precision

เมตริก	สูตร
Precision	True Positives / (True Positives + False Positives)

 

• โมเดลที่มี Precision สูงบ่งชี้ว่า:
  • False positives ("การแจ้งเตือนผิดพลาด") มีน้อย
  • ผู้ที่ไม่ได้เลิกใช้บริการถูกจัดว่าเลิกใช้บริการน้อยมาก

Recall

เมตริก	สูตร
Recall/Sensitivity	True Positives / (True Positives + False Negatives)

 

• โมเดลที่มี Recall สูงบ่งชี้ว่าจัดกลุ่มผู้ที่เลิกใช้บริการได้ถูกต้องเป็นส่วนใหญ่

Precision กับ Recall

Confusion Matrix ใน scikit-learn

from sklearn.metrics import confusion_matrix

cm = confusion_matrix(y_test, y_pred)

มาฝึกกันเถอะ!

Marketing Analytics: การพยากรณ์การเลิกใช้บริการของลูกค้าด้วย Python