監控與警示

MLOps 部署與生命週期

Nemanja Radojkovic

Senior Machine Learning Engineer

外部世界

MLOps 部署與生命週期

服務中的錯誤

MLOps 部署與生命週期

捕捉錯誤

MLOps 部署與生命週期

眾多移動部件

MLOps 部署與生命週期

故障點 2

MLOps 部署與生命週期

警示

MLOps 部署與生命週期

看這裡

MLOps 部署與生命週期

細緻紀錄 1

MLOps 部署與生命週期

細緻紀錄 2

MLOps 部署與生命週期

細緻紀錄 3

MLOps 部署與生命週期

資料管線 1

MLOps 部署與生命週期

資料驗證 2

MLOps 部署與生命週期

資料設定檔驗證

MLOps 部署與生命週期

統計驗證

可能會：

  • 過於敏感
  • 資訊不足

 

風險

  • 警示過多
  • 「警示疲勞」
  • 重要警示被忽略
MLOps 部署與生命週期

通知所有人

MLOps 部署與生命週期

從歷史中學習

處理完事件後 => 紀錄根因與處理步驟

Google 的案例[1]：

  • 紀錄並分析 10 年事件
  • > 2/3 與 ML 無關！
1 How ML Breaks: A Decade of Outages for One Large ML Pipeline, https://www.usenix.org/conference/opml20/presentation/papasian
MLOps 部署與生命週期

集中式監控

MLOps 部署與生命週期

一起來練習吧！

MLOps 部署與生命週期

Preparing Video For Download...