现代 MLOps 框架

MLOps 部署与生命周期管理

Nemanja Radojkovic

Senior Machine Learning Engineer

关于我

 

个人照片

 

  • 高级机器学习工程师
  • 拥有在生产环境中开发、部署与维护机器学习模型的经验
  • 当前重点:模型部署与全生命周期管理
1 www.linkedin.com/in/radojkovic
MLOps 部署与生命周期管理

概念性课程

是: 宏观理解

概念流程图

否: 动手技能

动手编码

MLOps 部署与生命周期管理

MLOps

机器学习运维(MLOps)

  • 原则
  • 实践
  • 工具

目标:ML 工作流与服务

  • 自动化
  • 可复现
  • 可集成
MLOps 部署与生命周期管理

运维 第1部分

MLOps 部署与生命周期管理

运维 第2部分

MLOps 部署与生命周期管理

从开发到 MLOps

MLOps 部署与生命周期管理

第 I 章

MLOps 的价值与必要性

价值

模型生命周期阶段

生命周期

 

MLOps 框架的组成部分

构建模块

MLOps 部署与生命周期管理

仅 DevOps

MLOps 部署与生命周期管理

含 ML 的 DevOps

MLOps 部署与生命周期管理

缺少 Ops 的 ML 成本高昂

 

常见起点

  • 手动 ML 工作流
  • 手动部署
  • 临时监控

 

=> 技术债务累积

MLOps 部署与生命周期管理

技术债务

由于现在选择了更容易(但受限)的方案,而非更优且更耗时的方法,所隐含的后续返工成本

~ 维基百科[1]

 

谷歌著名论文:

"机器学习:技术债务的高息信用卡"[2]

 

更多时间与更多模型上线

  • 更多技术债务与模型风险
  • 流程更慢、更挫败、易出错
  • 价值交付能力受损
1 https://en.wikipedia.org/wiki/Technical_debt 2 https://research.google/pubs/pub43146/
MLOps 部署与生命周期管理

ML 工作流

  • 数据收集与准备
  • 数据标注
  • 模型选择
  • 模型训练
  • 模型打包
  • 模型部署
  • 模型监控与维护

 

ML 工作流自动化 == MLOps 成熟度

MLOps 部署与生命周期管理

实施 MLOps 后

  • 自动化
  • 快速
  • 可复现
  • 可解释
MLOps 部署与生命周期管理

我们在这里

MLOps 部署与生命周期管理

非线性

MLOps 部署与生命周期管理

线性

MLOps 部署与生命周期管理

聚光灯 1

MLOps 部署与生命周期管理

众目所瞩

MLOps 部署与生命周期管理

MLOps 部署与生命周期管理

接下来!

 

模型生命周期管理

生命周期

MLOps 架构

概念流程图

MLOps 部署与生命周期管理

Vamos praticar!

MLOps 部署与生命周期管理

Preparing Video For Download...