共変量シフトとは？

Machine Learning モニタリングの基礎概念

Hakim Elakhrass

Co-founder and CEO of NannyML

定義

  • 共変量 = 入力特徴量
  • P(X) が変化する
  • 条件付き確率 P(Y|X) は同じまま
  • 共変量の同時分布が変化
Machine Learning モニタリングの基礎概念

なぜ同時確率分布か？

特徴量1と特徴量2の正/負の相関を示すグラフ。週10では青で正の相関、週16では赤で負の相関。

Machine Learning モニタリングの基礎概念

共変量シフトはなぜ起きるか？

共変量シフトの主な原因:

  • 現実は定常でない — パターンや傾向が変化する
  • データ源の変更 — テストと本番で収集方法が異なる
  • システムや環境の変化
Machine Learning モニタリングの基礎概念

共変量シフトはどのように起きるか？

分布変化の様式:

  • 突発

 

  • 漸進

 

  • 季節性

 

データ分布の突発的な変化。初期は青点だが、ある時点で赤点へ急変。

データ分布の漸進的な変化。青点から徐々に赤点へ移行し、やがて全体が赤に。

データ分布の季節的な変化。青点から赤点へ変化し、再び青に戻る周期が繰り返される。

Machine Learning モニタリングの基礎概念

共変量シフトをどう検知するか？

単変量の手法

9月から3月まで各月の生産値の分布。合計7つ。9〜12月は分布が類似し許容範囲の小変化で青。1〜3月は分布が縮み平均が低下方向へ移動し、変化が大きいため赤。

多変量の手法

多次元データを潜在空間に圧縮し、一定の誤差で元の形に復元するドリフト検知のワークフロー。

1 https://app.datacamp.com/learn/courses/dimensionality-reduction-in-python
Machine Learning モニタリングの基礎概念

¡Vamos a practicar!

Machine Learning モニタリングの基礎概念

Preparing Video For Download...