共変量シフトの検出方法

Machine Learning モニタリングの基礎概念

Hakim Elakhrass

Co-founder and CEO of NannyML

多変量ドリフト検出

  • 結合分布の変化を検出

 

 

  • データ圧縮に PCA を使用

 

 

  • 再構成誤差でドリフトを測定

画像は多変量ドリフト検出のワークフロー。多次元データを潜在空間に圧縮し、再構成する。

グラフは再構成ドリフト誤差の時間変動を示す。

Machine Learning モニタリングの基礎概念

単変量ドリフト検出

変数の種類:

  • カテゴリ型 - 既婚状態、喫煙状況、学歴などのグループに分類できるデータ

 

  • 連続型 - 身長、体重、距離、時間など、区間内で無限個の実数値をとる変数
Machine Learning モニタリングの基礎概念

連続変数の手法 - Jensen–Shannon

  • 2つの分布の類似度を測定

  • 範囲 [0, 1]

  • 小さながら意味のあるドリフトを検出

画像は Jensen–Shannon 距離で測った分布変化を示す。

Machine Learning モニタリングの基礎概念

連続変数の手法 - Wasserstein

  • 一方の分布を他方へ変換する最小の労力

  • 範囲 [0, +inf]

  • 外れ値に敏感

画像は Wasserstein 距離で測った分布変化を示す。

Machine Learning モニタリングの基礎概念

連続変数の手法 - Kolmogorov–Smirnov

  • 累積分布関数の最大距離

  • 範囲 [0, 1]

  • 偽陽性が出やすい

画像は Kolmogorov–Smirnov 距離で測った分布変化を示す。

Machine Learning モニタリングの基礎概念

連続変数の手法 - Hellinger

  • 分布間の重なり
  • 範囲 [0, 1]
  • 大きなシフトの差を区別しにくい

 

連続変数の手法 - 推奨

  • Jensen–Shannon と Wasserstein は概ね良好

画像は Hellinger 距離で測った分布変化を示す。

Machine Learning モニタリングの基礎概念

カテゴリ変数の手法 - カイ二乗

  • 低頻度カテゴリの変化に敏感

画像は2カテゴリ（a, b）を持つ変数のカイ二乗統計量の可視化。

Machine Learning モニタリングの基礎概念

カテゴリ変数の手法 - L-infinity

  • すべてのカテゴリで最も大きなシフトを特定

画像は3カテゴリ（a, b, c）の変数に対する L-infinity 法の可視化。

Machine Learning モニタリングの基礎概念

カテゴリ変数の手法 - Jensen–Shannon と Hellinger

  • 多数カテゴリには Jensen–Shannon または L-infinity を推奨
  • 個別カテゴリの変化検出には L-infinity 距離

画像は3カテゴリ（a, b, c）の変数に対する Jensen–Shannon と Hellinger の可視化。

Machine Learning モニタリングの基礎概念

練習してみましょう！

Machine Learning モニタリングの基礎概念

Preparing Video For Download...