MLOps 中的编排

Fully Automated MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

MLOps 系统的核心组件

MLOps 参考架构图，突出显示两个元素：开发环境中的编排实验与生产中的自动化流水线。

Fully Automated MLOps

模块化与可复用性

包含两个 ML 流水线的图：上方为开发与实验环境，下方为生产环境。

Fully Automated MLOps

编排与自动化

ML 流水线用于：

  • 开发与实验

组件示意：编排实验。

  • 生产

自动化 ML 流水线示意图。

Fully Automated MLOps

MLOps 中的有向无环图（DAG）

$$

  • 流水线的图形化表示
  • 步骤以节点表示
  • 依赖关系为边

简单 DAG：ML 流水线中相互连接的步骤示意。

Fully Automated MLOps

什么是 MLOps 编排？

$$

  • 管理与自动化任务流

$$

  • 任务的调度与监控

$$

  • 管理数据依赖与流转
Fully Automated MLOps

ML 流水线——开发与实验

在开发与实验环境中编排的 ML 流水线示意图。流水线由数据科学家触发，由编排器组件调度。

  • 管理模型训练的端到端任务
  • 保证流程、追踪与日志记录
  • 支持并行实验
Fully Automated MLOps

ML 流水线——生产

在生产环境中的自动化 ML 流水线示意图。流水线由自动触发器组件触发，并由编排器组件调度。

  • 支持自动化模型部署
  • 管理并执行流水线步骤
  • 部署一致、可靠
Fully Automated MLOps

让我们来练习！

Fully Automated MLOps

Preparing Video For Download...