分类指标

Python 中的模型验证

Kasey Jones

Data Scientist

分类指标

  • 精确率（Precision）
  • 召回率（也称灵敏度）
  • 准确率（Accuracy）
  • 特异性
  • F1 分数及其变体
  • …
Python 中的模型验证

分类指标

  • 精确率（Precision）
  • 召回率（也称灵敏度）
  • 准确率（Accuracy）
  • 特异性
  • F1 分数及其变体
  • …
Python 中的模型验证

混淆矩阵

混淆矩阵是 2×2 矩阵，表示被预测为 0/1 的数量与实际为 0/1 的数量。可用于计算各类准确性指标。

Python 中的模型验证
from sklearn.metrics import confusion_matrix
cm = confusion_matrix(y_test, test_predictions)
print(cm)

array([[ 23,  7],
       [  8, 62]])

cm[<true_category_index>, <predicted_category_index>]
cm[1, 0]

8
Python 中的模型验证

准确率

准确率可由混淆矩阵的主对角线计算。

Python 中的模型验证

精确率（Precision）

精确率关注被预测为 1 的样本：预测为 1 的中，有多少实际上为 1？

Python 中的模型验证

召回率（Recall）

召回率关注实际为 1 的样本：这些 1 中有多少被预测为 1？

Python 中的模型验证

准确率、精确率、召回率

from sklearn.metrics import accuracy_score, precision_score, recall_score
accuracy_score(y_test, test_predictions)

.85

precision_score(y_test, test_predictions)

.8986

recall_score(y_test, test_predictions)

.8857
Python 中的模型验证

练习时间

Python 中的模型验证

Preparing Video For Download...