模型評估指標

行銷分析：用 Python 預測客戶流失

Mark Peterson

Director of Data Science, Infoblox

類別不平衡

telco['Churn'].value_counts()

no     2850
yes     483
Name: Churn, dtype: int64
  • 準確率在此不太有用
行銷分析：用 Python 預測客戶流失

混淆矩陣（1）

行銷分析：用 Python 預測客戶流失

混淆矩陣（2）

行銷分析：用 Python 預測客戶流失

混淆矩陣（3）

行銷分析：用 Python 預測客戶流失

混淆矩陣（4）

行銷分析：用 Python 預測客戶流失

混淆矩陣（5）

行銷分析：用 Python 預測客戶流失

混淆矩陣（6）

行銷分析：用 Python 預測客戶流失

混淆矩陣（7）

行銷分析：用 Python 預測客戶流失

混淆矩陣（8）

行銷分析：用 Python 預測客戶流失

混淆矩陣（9）

行銷分析：用 Python 預測客戶流失

混淆矩陣（10）

行銷分析：用 Python 預測客戶流失

混淆矩陣（11）

行銷分析：用 Python 預測客戶流失

混淆矩陣（12）

行銷分析：用 Python 預測客戶流失

Precision（精確率）

指標 公式
Precision True Positives / (True Positives + False Positives)

 

  • 高 Precision 的模型代表：
    • 少有假陽性（「誤報」）
    • 很少把未流失者判為流失者
行銷分析：用 Python 預測客戶流失

Recall（召回率）

指標 公式
Recall/Sensitivity True Positives / (True Positives + False Negatives)

 

  • 高 Recall 的模型表示能正確找出多數流失者
行銷分析：用 Python 預測客戶流失

Precision vs. Recall

行銷分析：用 Python 預測客戶流失

在 scikit-learn 中建立混淆矩陣

from sklearn.metrics import confusion_matrix

cm = confusion_matrix(y_test, y_pred)
行銷分析：用 Python 預測客戶流失

一起來練習吧！

行銷分析：用 Python 預測客戶流失

Preparing Video For Download...