如何检测协变量漂移

机器学习监控概念

Hakim Elakhrass

Co-founder and CEO of NannyML

多变量漂移检测

  • 关注联合分布的变化

 

 

  • 使用 PCA 进行数据压缩

 

 

  • 用重构误差衡量漂移

图示：多变量漂移检测流程。多维数据先压缩到潜在空间，再解压回原空间并产生一定重构。

图示：数据重构漂移误差随时间波动的曲线。

机器学习监控概念

单变量漂移检测

变量类型：

  • 分类变量：可分组的数据类型，如婚姻状况、是否吸烟、教育程度

 

  • 连续变量：在区间内取无限实数值，如身高、体重、距离、时间
机器学习监控概念

连续方法 - Jensen–Shannon

  • 度量两种分布的相似度

  • 取值范围 [0, 1]

  • 能捕捉低幅度但有意义的漂移

图示：用 Jensen–Shannon 距离度量分布变化。

机器学习监控概念

连续方法 - Wasserstein

  • 将一种分布转为另一种分布所需的最小"搬运"量

  • 取值范围 [0, +∞)

  • 对离群点敏感

图示：用 Wasserstein 距离度量分布变化。

机器学习监控概念

连续方法 - Kolmogorov–Smirnov

  • 累积分布函数的最大距离

  • 取值范围 [0, 1]

  • 易出现误报

图示：用 Kolmogorov–Smirnov 距离度量分布变化。

机器学习监控概念

连续方法 - Hellinger

  • 分布间的重叠度
  • 取值范围 [0, 1]
  • 无法区分强烈的漂移

 

连续方法 - 建议

  • Jensen–Shannon 与 Wasserstein 通常表现较好

图示：用 Hellinger 距离度量分布变化。

机器学习监控概念

分类方法 - 卡方检验

  • 对低频类别的变化更敏感

图示：具有两类（a 与 b）的分类变量的卡方统计量可视化。

机器学习监控概念

分类方法 - L-无穷范数

  • 识别所有类别中最显著的漂移

图示：三类（a、b、c）分类变量的 L-无穷范数方法可视化。

机器学习监控概念

分类方法 - Jensen–Shannon 与 Hellinger

  • 类别多时用 Jensen–Shannon 或 L-无穷范数
  • 用 L-无穷范数检测单个类别的变化

图示：三类（a、b、c）分类变量的 Jensen–Shannon 与 Hellinger 方法可视化。

机器学习监控概念

让我们来练习！

机器学习监控概念

Preparing Video For Download...