监控与告警

MLOps 部署与生命周期管理

Nemanja Radojkovic

Senior Machine Learning Engineer

外部世界

MLOps 部署与生命周期管理

服务中的缺陷

MLOps 部署与生命周期管理

捕捉缺陷

MLOps 部署与生命周期管理

诸多活动部件

MLOps 部署与生命周期管理

故障点 2

MLOps 部署与生命周期管理

告警

MLOps 部署与生命周期管理

看这里

MLOps 部署与生命周期管理

日志记录 1

MLOps 部署与生命周期管理

日志记录 2

MLOps 部署与生命周期管理

日志记录 3

MLOps 部署与生命周期管理

数据管道 1

MLOps 部署与生命周期管理

数据验证 2

MLOps 部署与生命周期管理

数据画像验证

MLOps 部署与生命周期管理

统计验证

可能会：

  • 过于敏感
  • 信息不足

 

风险

  • 告警过多
  • "告警疲劳"
  • 重要告警被忽视
MLOps 部署与生命周期管理

通知所有人

MLOps 部署与生命周期管理

从历史中学习

处理完事件后 => 记录根因与处置步骤

Google 示例[1]：

  • 10 年事件已记录并分析

  • 2/3 与 ML 无关！

1 How ML Breaks: A Decade of Outages for One Large ML Pipeline, https://www.usenix.org/conference/opml20/presentation/papasian
MLOps 部署与生命周期管理

集中式监控

MLOps 部署与生命周期管理

让我们来练习！

MLOps 部署与生命周期管理

Preparing Video For Download...