モデルの評価指標

マーケティングアナリティクス：Pythonで顧客解約を予測する

Mark Peterson

Director of Data Science, Infoblox

クラスの不均衡

telco['Churn'].value_counts()

no     2850
yes     483
Name: Churn, dtype: int64

• 正解率はあまり有用な指標ではない

適合率

指標	計算式
適合率	真陽性 / (真陽性 + 偽陽性)

 

• 適合率が高いモデルの特徴:
  • 偽陽性（「誤検知」）が少ない
  • 非解約者を解約者と誤分類することが少ない

再現率

指標	計算式
再現率/感度	真陽性 / (真陽性 + 偽陰性)

 

• 再現率が高いモデルは、ほとんどの解約者を正しく分類できている

適合率 vs. 再現率

scikit-learnで混同行列を作成する

from sklearn.metrics import confusion_matrix

cm = confusion_matrix(y_test, y_pred)

さあ、練習しましょう！

マーケティングアナリティクス：Pythonで顧客解約を予測する