监控机器学习服务

MLOps 部署与生命周期管理

Nemanja Radojkovic

Senior Machine Learning Engineer

保持质量

  • 付费用户 => 质量期望
  • 质量保证始于质量控制
  • 监控
MLOps 部署与生命周期管理

性能指标

基础健康指标

  • 服务是否运行?
  • 一段时间内的请求数?
  • 延迟分布?

 

最终质量指标

  • 预测性能

模型如何退化?

MLOps 部署与生命周期管理

简单分类器

MLOps 部署与生命周期管理

学习到的边界

MLOps 部署与生命周期管理

训练后的模型

MLOps 部署与生命周期管理

世界在变化

MLOps 部署与生命周期管理

变化 2

MLOps 部署与生命周期管理

边界已移动

MLOps 部署与生命周期管理

概念漂移

MLOps 部署与生命周期管理

不变则退化

MLOps 部署与生命周期管理

如何检测

MLOps 部署与生命周期管理

MLOps 部署与生命周期管理

问题所在

MLOps 部署与生命周期管理

按用例验证

MLOps 部署与生命周期管理

从不免费

MLOps 部署与生命周期管理

用好现有特征

MLOps 部署与生命周期管理

输入特征变化

MLOps 部署与生命周期管理

协变量移位

MLOps 部署与生命周期管理

输入监控的局限

MLOps 部署与生命周期管理

输出监控

MLOps 部署与生命周期管理

Passons à la pratique !

MLOps 部署与生命周期管理

Preparing Video For Download...