沟通管理

面向业务的机器学习

Karolis Urbonas

Head of Machine Learning & Science, Amazon

工作小组

安排周期性会议跟踪进度，并明确以下事项：

  • 确定业务需求
  • 评审机器学习模型和业务产品
  • 推断 vs. 预测
  • 基线模型结果与更新规划
  • 市场测试
  • 上线与生产
面向业务的机器学习

业务需求

  1. 业务情境是什么？
    • 流失率开始上升
  2. 业务机遇是什么，规模多大？
    • 将流失率从 X% 降至 Y%
  3. 将采取哪些业务行动？
    • 开展针对高风险客户的留存活动
面向业务的机器学习

机器学习产品

  • 业务需要哪些 ML 产品？

$$

  • 示例 1 —— 预测流失。业务需要：1）每季度更新的流失驱动因素推断；2）每日将客户分为已流失/高风险/低风险

$$

  • 示例 2 —— 欺诈预测。业务需要：1）强流失指标的推断；2）实时输出高风险交易供人工复核，中风险交易补充材料
面向业务的机器学习

模型性能与改进

明确可接受的模型错误容忍度（记住：所有模型都有误）：

  • 分类

    • 哪个类别的误判成本更高？
    • 例：将欺诈误判为非欺诈通常比相反情况代价更高

  • 回归

    • 预测误差容忍度是多少？
    • 例：需求预测误差过大将导致备货过多
面向业务的机器学习

市场测试

A/B 测试示意图

面向业务的机器学习

生产环境中的机器学习

  • 测试结果是否持续带来正向改进？
  • 模型是否足够稳定？
  • 我们是否有可集成模型的系统与工具？
面向业务的机器学习

Passons à la pratique !

面向业务的机器学习

Preparing Video For Download...