评估模型性能

营销分析:用 Python 预测客户流失

Mark Peterson

Director of Data Science, Infoblox

准确率

  • 一种常用指标:准确率
    • 正确预测数 / 数据点总数
  • 使用哪些数据?
    • 训练数据不代表新数据
营销分析:用 Python 预测客户流失

训练集与测试集

  • 在训练集上拟合分类器
  • 用测试集进行预测
营销分析:用 Python 预测客户流失

使用 scikit-learn 划分训练/测试集

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(telco['data'], telco['target'], test_size=0.2, random_state = 42)
from sklearn.svm import SVC svc = SVC() svc.fit(X_train, y_train) svc.predict(X_test)
营销分析:用 Python 预测客户流失

计算准确率

svc.score(X_test, y_test)
0.857
  • 85.7% 的准确率:首次尝试已不错!
营销分析:用 Python 预测客户流失

改进模型

  • 过拟合:模型对训练数据贴合过度
  • 欠拟合:未能捕捉训练数据的趋势
  • 需在过拟合与欠拟合间取得平衡
营销分析:用 Python 预测客户流失

Passons à la pratique !

营销分析:用 Python 预测客户流失

Preparing Video For Download...