監控 ML 服務

MLOps 部署與生命週期

Nemanja Radojkovic

Senior Machine Learning Engineer

維持品質

  • 付費客戶=品質期待
  • 品質保證始於品管
  • 監控
MLOps 部署與生命週期

效能指標

基本健康指標

  • 服務是否正常運作?
  • 一段時間內的請求數?
  • 延遲分佈?

 

最終品質指標

  • 預測效能

ML 模型如何劣化?

MLOps 部署與生命週期

簡單分類器

MLOps 部署與生命週期

學到的邊界

MLOps 部署與生命週期

訓練後的模型

MLOps 部署與生命週期

世界在改變

MLOps 部署與生命週期

改變 2

MLOps 部署與生命週期

邊界移動

MLOps 部署與生命週期

概念飄移

MLOps 部署與生命週期

不改就退步

MLOps 部署與生命週期

如何偵測

MLOps 部署與生命週期

MLOps 部署與生命週期

關鍵點

MLOps 部署與生命週期

依情境驗證

MLOps 部署與生命週期

沒有免費

MLOps 部署與生命週期

用你手上的資料

MLOps 部署與生命週期

輸入特徵變化

MLOps 部署與生命週期

共變異轉移

MLOps 部署與生命週期

輸入監控限制

MLOps 部署與生命週期

輸出監控

MLOps 部署與生命週期

一起來練習吧!

MLOps 部署與生命週期

Preparing Video For Download...