MLOps 生命周期阶段

Fully Automated MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

MLOps 生命周期

MLOps 生命周期包含三个核心阶段：

• 三个阶段是迭代的
• 三个阶段相互关联、相互依赖
• 在阶段间来回切换是正常的

ML 生命周期中的 MLOps - 设计

设计阶段包括：

• 业务理解

  $$

• 数据理解

  $$

• 设计 ML 解决方案

$$

ML 生命周期中的 MLOps - 设计

设计阶段包括：

• 业务理解

  $$
  • 理解业务背景
  • 确立业务目标

$$

ML 生命周期中的 MLOps - 设计

设计阶段包括：

• 数据理解

  $$
  • 数据探索
  • 数据可视化

$$

ML 生命周期中的 MLOps - 设计

设计阶段包括：

• 系统设计

  $$
  • 系统架构设计
    • 数据安全
    • 数据隐私

$$

ML 生命周期中的 MLOps - 设计

设计阶段包括：

• 业务理解

  $$

• 数据理解

  $$

• 设计 ML 解决方案

$$

设计阶段多为人工，难以自动化

$$

ML 生命周期中的 MLOps - 开发

ML 实验与开发阶段包括： $$

• 概念验证（PoC）开发

  $$

• 数据工程

  $$

• 模型开发

$$

ML 生命周期中的 MLOps - 开发

ML 实验与开发阶段包括：

• 概念验证（PoC）开发

  $$
  • 流程与自动化相结合
  • 使用框架

$$

ML 生命周期中的 MLOps - 开发

ML 实验与开发阶段包括：

• 数据工程（PoC）

  $$
  • 通过自动化实现质量保障

$$

ML 生命周期中的 MLOps - 开发

ML 实验与开发阶段包括：

• 模型开发（PoC）

  $$
  • 实验跟踪
  • 自动化训练
  • 自动化超参数调优

$$

ML 生命周期中的 MLOps - 部署

ML 部署与运维阶段包括：

• 生产化
  • 测试
  • 版本管理
  • 持续交付
  • 监控

$$

为规模而建：自动化优先

我们依靠流程优化、最佳实践和自动化

在缺少自动化、流程简化时：

• CRISP-DM
• TDSP [1]

¹ https://www.ibm.com/docs/en/spss-modeler/saas?topic=dm-crisp-help-overview

流程优化与最佳实践

$$

设计阶段

$$

• 最佳实践

  • 引入领域专家

  • 参与业务相关方

  • 获取终端用户反馈

$$

开发阶段

$$

• 最佳实践

  • 编写整洁代码
  • 记录我们的工作

让我们来练习！

Fully Automated MLOps