模型性能衡量

面向业务的机器学习

Karolis Urbonas

Head of Machine Learning & Science, Amazon

性能度量类型

两类监督学习指标：

1. 准确率 --> 分类
2. 误差 --> 回归

分类性能

• 准确率

• 召回率

• 精确率

流失示例

流失示例

流失预测

误分类项

另一个流失预测

准确率

精确率

召回率

回归性能

• 误差

回归示例

用直线预测收入

回归误差

测试非线性模型

误差改进

可行动模型 - A/B 测试

好模型不一定可落地：

流失预测、购买预测、设备故障预测

检验使用模型是否提升结果：

针对预测将流失的客户提供激励（折扣、优惠券、促销）

向可能购买的客户发送提醒邮件和产品信息

是否带来更低流失率、更高购买率、故障减少？若是，纳入自动化流程；若否，收集更多数据，改进模型，再测试。

Passons à la pratique !

面向业务的机器学习