モデル性能の評価

マーケティングアナリティクス:Pythonで顧客解約を予測する

Mark Peterson

Director of Data Science, Infoblox

正解率(Accuracy)

  • 指標の一例: 正解率(Accuracy)
    • 正解予測数 / データ総数
  • どのデータを使うか?
    • 学習データは新規データを代表しない可能性
マーケティングアナリティクス:Pythonで顧客解約を予測する

学習データとテストデータ

  • 学習用データで分類器を学習
  • テストデータで予測
マーケティングアナリティクス:Pythonで顧客解約を予測する

scikit-learnでの学習・テスト分割

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(telco['data'], telco['target'], test_size=0.2, random_state = 42)
from sklearn.svm import SVC svc = SVC() svc.fit(X_train, y_train) svc.predict(X_test)
マーケティングアナリティクス:Pythonで顧客解約を予測する

正解率の計算

svc.score(X_test, y_test)
0.857
  • 正解率85.7%:初回としては良好
マーケティングアナリティクス:Pythonで顧客解約を予測する

モデル改善

  • 過学習: 学習データに過度に適合
  • 過少学習: 学習データの傾向を捉えない
  • 過学習と過少学習のバランスを最適化する必要
マーケティングアナリティクス:Pythonで顧客解約を予測する

演習に進みましょう!

マーケティングアナリティクス:Pythonで顧客解約を予測する

Preparing Video For Download...