如何因應概念漂移?

Machine Learning 監控概念

Hakim Elakhrass

Co-founder and CEO of NannyML

概念漂移偵測

  • 以錯誤為基礎的方法
    • 追蹤錯誤隨時間的變化
    • 需要真實標籤(ground truth)

 

  • 用訓練資料與生產資料訓練新模型
    • 預測的變化代表概念漂移
    • 進階情境下成本高
Machine Learning 監控概念

再訓練

此圖包含兩個圖表。第一個顯示模型準確率隨時間逐漸下降;第二個顯示準確率略降後進行再訓練,準確率回升,並週期性重複此流程。

優點:

  • 讓模型跟上最新模式

 

缺點:

  • 成本與失敗風險提高
  • 無法提供問題的根因
Machine Learning 監控概念

線上學習

此圖示意線上學習循環:App 的資料送入資料庫,立即用於更新模型;更新後的模型再次部署供使用。

優點:

  • 即時因應環境變化

 

缺點:

  • 需持續取得真實標籤(ground truth)
  • 對雜訊敏感
  • 需審慎調參
Machine Learning 監控概念

其他解法

 

  • 為重複性事件建置事件專用模型

 

  • 調整新資料的權重
    • 更聚焦新資料,模型更易適應

 

此圖顯示一條時間軸:11 月 23 日部署一般模型,11 月 24 日部署 Black Friday 模型,之後再切回一般模型。

Machine Learning 監控概念

一起來練習吧!

Machine Learning 監控概念

Preparing Video For Download...