监控机器学习模型的挑战

机器学习监控概念

Hakim Elakhrass

Co-founder and CEO of NannyML

机器学习项目组成

一个包含三个圆的维恩图，分别代表软件工程、数据分析和机器学习；三者的交集代表数据科学。

机器学习监控概念

模型无法给出预测

可能的问题：

  • 语言障碍——用"胶水"代码组合多种编程语言

 

  • 代码维护——依赖更新后的兼容性问题

 

  • 扩展性问题——基础设施不够健壮，无法支持更多用户
机器学习监控概念

模型预测失效

协变量漂移

  • 输入分布发生变化
  • 可用统计方法检测
  • 并非所有漂移都会影响性能

 

一个密度分布图比较训练集与生产集的客户年龄：训练集明显偏向较小年龄；生产集形状相似，但在较大年龄有尖峰。

概念漂移

  • 输入与目标之间关系发生变化
  • 难以检测
  • 几乎总会影响业务效果

训练集与生产集中，客户生命周期价值（CLV）与特征"年龄"均有关联；但在生产中这种关系发生变化，提示存在概念漂移。

机器学习监控概念

真实标签的可用性

一家服装店的图片。

机器学习监控概念

Passons à la pratique !

机器学习监控概念

Preparing Video For Download...