如何偵測共變量漂移

Machine Learning 監控概念

Hakim Elakhrass

Co-founder and CEO of NannyML

多變量漂移偵測

  • 尋找聯合機率分佈的變化

 

 

  • 使用 PCA 演算法進行資料壓縮

 

 

  • 以重建誤差衡量漂移

此圖示範多變量漂移偵測流程：先將多維資料壓縮到潛在空間，再以一定的重建還原回原始形式。

此圖顯示資料重建漂移誤差隨時間的波動。

Machine Learning 監控概念

單變量漂移偵測

變數型態：

  • 類別型：可分群的資料，例如婚姻狀態、是否抽菸、教育程度

 

  • 連續型：在給定區間內有無限實數值，例如身高、體重、距離、時間
Machine Learning 監控概念

連續型方法－Jensen–Shannon

  • 衡量兩個分佈的相似度

  • 範圍 [0, 1]

  • 能捕捉低幅度但有意義的漂移

此圖顯示以 Jensen–Shannon 距離衡量的分佈變化。

Machine Learning 監控概念

連續型方法－Wasserstein

  • 將一個分佈轉成另一個分佈所需的最小功

  • 範圍 [0, +inf]

  • 對離群值敏感

此圖顯示以 Wasserstein 距離衡量的分佈變化。

Machine Learning 監控概念

連續型方法－Kolmogorov–Smirnov

  • 累積分佈函數之間的最大距離

  • 範圍 [0, 1]

  • 易出現誤報

此圖顯示以 Kolmogorov–Smirnov 距離衡量的分佈變化。

Machine Learning 監控概念

連續型方法－Hellinger

  • 分佈之間的重疊度
  • 範圍 [0, 1]
  • 無法區分強烈的轉變

 

連續型方法－建議

  • Jensen–Shannon 與 Wasserstein 整體表現良好

此圖顯示以 Hellinger 距離衡量的分佈變化。

Machine Learning 監控概念

類別型方法－卡方（Chi-squared）

  • 對低頻類別的變化敏感

此圖為具兩個類別 a、b 的類別變數之卡方統計量視覺化。

Machine Learning 監控概念

類別型方法－L-Infinity

  • 辨識所有類別中最顯著的轉變

此圖為具三個類別 a、b、c 的類別變數之 L-Infinity 方法視覺化。

Machine Learning 監控概念

類別型方法－Jensen–Shannon 與 Hellinger

  • 類別很多時用 Jensen–Shannon 或 L-Infinity
  • 用 L-Infinity 距離偵測個別類別的變化

此圖為具三個類別 a、b、c 的類別變數之 Jensen–Shannon 與 Hellinger 方法視覺化。

Machine Learning 監控概念

一起來練習吧！

Machine Learning 監控概念

Preparing Video For Download...