評估模型效能

行銷分析：用 Python 預測客戶流失

Mark Peterson

Director of Data Science, Infoblox

Accuracy（正確率）

  • 一種常見指標：Accuracy（正確率）
    • 正確預測數／資料點總數
  • 用哪些資料？
    • 訓練資料未必代表新資料
行銷分析：用 Python 預測客戶流失

訓練集與測試集

  • 將分類器擬合於訓練集
  • 用測試集進行預測
行銷分析：用 Python 預測客戶流失

使用 scikit-learn 建立訓練／測試集

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(telco['data'], telco['target'], 
                                   test_size=0.2, random_state = 42)

from sklearn.svm import SVC

svc = SVC()

svc.fit(X_train, y_train)

svc.predict(X_test)
行銷分析：用 Python 預測客戶流失

計算正確率

svc.score(X_test, y_test)

0.857
  • 85.7% 的正確率：第一次嘗試就不錯！
行銷分析：用 Python 預測客戶流失

改進你的模型

  • 過度擬合：模型過於貼合訓練資料
  • 欠擬合：無法抓住訓練資料的趨勢
  • 需要在過度擬合與欠擬合間取得平衡
行銷分析：用 Python 預測客戶流失

一起來練習吧！

行銷分析：用 Python 預測客戶流失

Preparing Video For Download...