監控機器學習模型

MLOps 概念

Folkert Stijnman

ML Engineer

監控與再訓練

監控

監控的種類

統計式監控：著重輸入與輸出資料（含預測）

_例：_ 客戶 X 有 72% 可能流失，客戶 Y 有 31% 可能不流失

監控的種類

計算式監控：著重技術性指標

_例：_ 伺服器 CPU 使用率、傳入請求數、預測次數、伺服器停機時間

統計式與計算式監控

回饋迴圈

回饋迴圈：利用真實標記（ground truth）改進機器學習模型的過程

生產環境監控

一起來練習吧！

MLOps 概念