效能估計

Machine Learning 監控概念

Hakim Elakhrass

Co-founder and CEO of NannyML

總覽

兩種效能估計演算法：

  • CBPE－分類任務
  • DLE－迴歸任務
Machine Learning 監控概念

CBPE－運作方式

  • 估計混淆矩陣

 

  • 可計算分類指標，如 accuracy、precision、recall

 

  • 捕捉協變量偏移對模型的影響

 

此圖示說明 CBPE 演算法的運作：第一個模型對每個樣本產生預測，並據此判定類別。例如，若對某樣本的預測為 0.9，因高於 0.5，則為正類；若低於 0.5，則為負類。對資料集所有樣本重複此流程，彙整信心分數以產生估計的混淆矩陣。

Machine Learning 監控概念

CBPE－注意事項

  • 未觀測區域中不存在協變量偏移

 

  • 輸入資料無概念漂移

 

  • 需要機率校準
Machine Learning 監控概念

DLE－運作方式

  • 預測模型的絕對誤差

 

  • 使用外部子模型

 

  • 可計算多種迴歸指標，如 MAE、MSE、MSLE

 

  • 捕捉輸入資料中的協變量偏移

此圖描述生產環境中的迴歸效能估計流程：先將分析資料送入模型產生預測，接著把這些預測與分析資料一併輸入子模型，子模型用來預測誤差。根據誤差預測，再計算其他迴歸指標以評估模型效能。

Machine Learning 監控概念

DLE－注意事項

  • 未觀測區域中不存在協變量偏移

 

  • 輸入資料無概念漂移

 

  • 額外的複雜度
Machine Learning 監控概念

一起來練習吧！

Machine Learning 監控概念

Preparing Video For Download...