理想的監控流程

Machine Learning 監控概念

Hakim Elakhrass

Co-founder and CEO of NannyML

監控流程

傳統監控流程

• 計算技術效能

• 依輸入資料偏移發出警示

• 造成大量誤報

理想監控流程

• 技術效能監控

  • 計算並估計效能

• 根因分析

  • 將資料偏移與效能下滑連結

 

監控效能

包含：

• 計算效能——如準確率等技術指標

 

• 估計效能——當無法取得真實標籤時

 

• 衡量商業影響——監控關鍵績效指標（KPI）

 

根因分析

目標是調查：

 

• 協變量偏移——輸入資料分佈發生偏移

 

• 概念飄移——特徵與目標之關係改變

問題處理

可能的解法：

• 重新訓練——需要更多資料與運算資源

 

• 重構情境——退一步重新思考所用方法

 

• 調整下游流程——修改與預測相關的流程

 

一起來練習吧！

Machine Learning 監控概念