直接監控技術效能

Machine Learning 監控概念

Hakim Elakhrass

Co-founder and CEO of NannyML

共變量偏移與效能的關係

三種共變量偏移：

  • 移向某些區域

    • 例如更多高收入者申請貸款

  • 移向原本少見的區域

    • 例如 tech 從業者佔 10%，而訓練資料只有 0.5%

  • 移向不確定性較高的區域

    • 例如臨近決策邊界的中等收入者從 20% 升到 40%

 

-> 無影響

 

-> 影響不明

 

-> 負面影響

Machine Learning 監控概念

保證帶來負面影響

 
 
 
 

移向不確定性高的區域，效能一定變差。

視覺化圖中，訓練期間標示出模型最不確定的區域。但在上線後，落在此區域的人比以前更多。

Machine Learning 監控概念

過多誤報的問題

此圖以許多點代表警示；當點過多時，重要的點會被淹沒。

Machine Learning 監控概念

技術效能的重要性

  • 直接量化模型在當前任務的表現

 

  • 能反映任何無聲故障

 

  • 減少過多的誤報負擔

此監控流程圖的一部分：左側為效能監控方塊，下方以虛線連到「模型仍表現良好嗎？」的虛線方塊，右側菱形為「performance degradation」，上方箭頭標示 yes 指向右方流程，下方箭頭標示 no 回到效能監控方塊。

Machine Learning 監控概念

一起來練習吧！

Machine Learning 監控概念

Preparing Video For Download...