什么是协变量漂移？

机器学习监控概念

Hakim Elakhrass

Co-founder and CEO of NannyML

定义

  • 协变量 = 输入特征
  • $P(X)$ 发生变化
  • 条件概率 $P(Y|X)$ 保持不变
  • 协变量联合分布发生变化
机器学习监控概念

为何关注联合概率分布？

展示特征一与特征二在第10周（蓝色，正相关）与第16周（红色，负相关）的相关性变化的图。

机器学习监控概念

为何会发生协变量漂移？

协变量漂移的可能原因：

  • 现实世界非平稳：模式与趋势会演化
  • 数据源变化：测试与生产的采集方式不同
  • 系统与环境演变
机器学习监控概念

协变量漂移如何发生？

分布变化的形态：

  • 突发

 

  • 渐变

 

  • 季节性

 

分布突变示意：最初为蓝色点，某时刻后突然变为红色点。

分布渐变示意：最初为蓝色点，随时间逐步变为红色，最终又回到蓝色。开始只有一个点变色，之后全部转红。

分布季节性示意：蓝色点一段时间后突然转红，随后又回到蓝色，如此周期重复。

机器学习监控概念

如何检测协变量漂移？

单变量方法

从9月至3月的月度产量分布图。共七个分布。9–12月分布相近、变化小（蓝色）；1–3月分布收缩且均值下降（红色），变化更显著。

多变量方法

多元漂移检测流程：先将多维数据压缩到潜在空间，再解码回原空间，产生一定误差。

1 https://app.datacamp.com/learn/courses/dimensionality-reduction-in-python
机器学习监控概念

Vamos praticar!

机器学习监控概念

Preparing Video For Download...