评估性能

理解机器学习

Hadrien Lacroix

Content Developer at DataCamp

评估步骤

过拟合

• 在训练数据上表现很"好"
• 在测试数据上表现很差
• 模型记住了训练数据，无法泛化到新数据
• 用测试集检查模型性能

过拟合示意

准确率

• 准确率 = 正确分类数 / 全部观测数
• 48 / 50 = 96%

准确率的局限：欺诈示例

$$

该模型的准确率：

$$\frac{28\ correctly\ classified}{30\ total\ points}=93.33\%$$

• 漏检了大部分欺诈交易
• 需要更好的度量

混淆矩阵

真正类（TP）

真正类（TP）

假负类（FN）

假负类（FN）

记住假负类

补全其余部分…

假正类、真负类

记住假正类

灵敏度（召回率）

我们正确分类了多少笔欺诈交易？

$$Sensitivity = \frac{true\ positives}{true\ positives + false\ negatives} =1/3=33.33\% $$

• 宁可将合法交易标记为可疑，也不授权欺诈交易

特异度

$$Specificity = \frac{true\ negatives}{true\ negatives + false\ positives}$$

垃圾邮件过滤：

• 宁可把垃圾邮件放进收件箱，也不要把正常邮件放进垃圾箱

回归评估

回归评估

• 误差 = 点（真实值）到直线（预测值）的距离
• 计算方法很多，如均方根误差

无监督学习

¹ https://www.flickr.com/photos/micahdowty/8540188997

Passons à la pratique !

理解机器学习