模型评估指标

营销分析：用 Python 预测客户流失

Mark Peterson

Director of Data Science, Infoblox

类别不平衡

telco['Churn'].value_counts()

no     2850
yes     483
Name: Churn, dtype: int64
  • 准确率并不太有用
营销分析：用 Python 预测客户流失

混淆矩阵 第1部分

营销分析：用 Python 预测客户流失

混淆矩阵 第2部分

营销分析：用 Python 预测客户流失

混淆矩阵 第3部分

营销分析：用 Python 预测客户流失

混淆矩阵 第4部分

营销分析：用 Python 预测客户流失

混淆矩阵 第5部分

营销分析：用 Python 预测客户流失

混淆矩阵 第6部分

营销分析：用 Python 预测客户流失

混淆矩阵 第7部分

营销分析：用 Python 预测客户流失

混淆矩阵 第8部分

营销分析：用 Python 预测客户流失

混淆矩阵 第9部分

营销分析：用 Python 预测客户流失

混淆矩阵 第10部分

营销分析：用 Python 预测客户流失

混淆矩阵 第11部分

营销分析：用 Python 预测客户流失

混淆矩阵 第12部分

营销分析：用 Python 预测客户流失

精确率

指标 公式
精确率（Precision） True Positives / (True Positives + False Positives)

 

  • 高精确率意味着：
    • 误报（假阳性）少
    • 很少将非流失者判为流失者
营销分析：用 Python 预测客户流失

召回率

指标 公式
召回率/敏感度（Recall/Sensitivity） True Positives / (True Positives + False Negatives)

 

  • 高召回率表示正确识别了大多数流失者
营销分析：用 Python 预测客户流失

精确率 vs. 召回率

营销分析：用 Python 预测客户流失

scikit-learn 中的混淆矩阵

from sklearn.metrics import confusion_matrix

cm = confusion_matrix(y_test, y_pred)
营销分析：用 Python 预测客户流失

Vamos praticar!

营销分析：用 Python 预测客户流失

Preparing Video For Download...