机器学习风险

面向业务的机器学习

Karolis Urbonas

Head of Machine Learning & Science, Amazon

表现不佳

有些模型表现不佳（务必查看测试表现，而非训练）：

• 低精确率

• 低召回率

• 误差大

低精确率

精确率低——目标类被错误分类很多，即假阳性多

例：被判定为可能购买的客户中，实际购买的只有 10%

低召回率

召回率低——模型只捕获到该类的一小部分观测

例：仅识别出 25% 的欺诈交易

误差大

误差大——预测值与真实值差异大

例：客户满意度预测的平均误差为 3.5 个单位，或 70 个百分点

不可执行的模型用例

问：如何正确测试模型？

答：运行测试/实验以验证效果，例如：流失预防邮件、产品促销、人工设备维护、人工交易复核

A/B 测试

测试不奏效怎么办？

• 获取更多数据——需业务参与
• 构建因果模型以理解驱动因素
• 开展定性研究（问卷等）
• 调整问题范围
  • 缩小
  • 扩大
  • 换个问题

让我们来练习！

面向业务的机器学习