監控機器學習模型的挑戰

Machine Learning 監控概念

Hakim Elakhrass

Co-founder and CEO of NannyML

機器學習專案組成

三圈交疊的維恩圖，分別代表軟體工程、資料分析與機器學習，三者交集代表資料科學。

Machine Learning 監控概念

模型無法做出預測

可能問題：

  • 語言隔閡——以「glue」程式碼串接不同程式語言

 

  • 程式維護——相依套件更新的相容性問題

 

  • 擴充性——基礎設施不夠穩健以支撐更多使用者
Machine Learning 監控概念

模型預測失準

共變數偏移

  • 輸入分佈改變
  • 可用統計方法偵測
  • 不是每種漂移都影響效能

 

密度分佈圖比較訓練集與上線集的顧客年齡：訓練集明顯偏向較低年齡；上線集形狀相近，但高年齡處有尖峰。

概念漂移

  • 輸入資料與目標之間的關係改變
  • 難以偵測
  • 幾乎一定影響模型的商業成效

訓練集與上線集的顧客終身價值（CLV）與特徵 Age 之間皆存在關係，但上線後關係改變，顯示概念漂移。

Machine Learning 監控概念

真實標籤的可用性

服飾店的圖片。

Machine Learning 監控概念

一起來練習吧！

Machine Learning 監控概念

Preparing Video For Download...