参考架构:全自动 MLOps

Fully Automated MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

什么是参考架构?

$$

参考架构是可用于在不同 IT 领域设计解决方案的模板。

一组文档,包含:

  • IT 元素的结构与集成
  • IT 系统(含 ML 系统)中的常见模式

  • 借鉴行业参与者的经验与最佳实践

Fully Automated MLOps

全自动 MLOps 架构

展示全自动 MLOps 参考架构的高层概览。

1 https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning
Fully Automated MLOps

参考架构 - 编排实验

展示全自动 MLOps 参考架构的高层概览。画面放大至一组连接的模块:从左到右为数据分析、编排实验、源代码、源代码仓库。

Fully Automated MLOps

参考架构 - 源代码与持续集成(CI)

图像左移。源代码仓库之后,显示持续集成模块。该模块包含构建环节,输出软件包。

Fully Automated MLOps

参考架构 - 构件与持续交付(CD)

图像下移,显示持续交付模块。

Fully Automated MLOps

参考架构 - 部署 ML 流水线

图像左移,显示自动化 ML 流水线的步骤:数据提取、数据验证、数据准备、模型训练、模型评估、模型验证。

Fully Automated MLOps

参考架构 - 元数据存储

图像下移,显示元数据存储收集 ML 流水线生成的日志。

Fully Automated MLOps

参考架构 - 模型注册表

图像上移并右移,显示由 ML 流水线训练的模型被推送到模型注册表。

Fully Automated MLOps

参考架构 - 预测服务

图像下移,显示 ML 流水线训练的模型持续交付到架构中的预测服务模块。

Fully Automated MLOps

参考架构 - 持续监控

图像左移,显示性能监控组件用于跟踪预测服务的性能。

Fully Automated MLOps

参考架构 - 自动触发器

图像进一步左移,显示与性能监控模块相连的触发组件。

Fully Automated MLOps

参考架构 - 自动再训练

图像上移,显示触发器可激活系统中的自动化 ML 流水线。

Fully Automated MLOps

参考架构

图像缩小,展示完整参考架构的高层概览。

Fully Automated MLOps

参考架构 - 特征库(Feature Store)

展示全自动 MLOps 参考架构的高层概览。画面放大至特征库组件。

Fully Automated MLOps

参考架构 - 特征库(Feature Store)

图像下移,显示特征库还向系统中分层、预生产、生产环境的自动化 ML 流水线提供数据。

Fully Automated MLOps

参考架构 - 特征库(Feature Store)

画面放大至特征库组件。该组件向实验与开发环境中的编排实验模块提供数据。

Fully Automated MLOps

参考架构 - 特征库(Feature Store)

画面放大至特征库组件。该组件向系统中的预测服务提供数据。

Fully Automated MLOps

全自动 MLOps 架构

展示全自动 MLOps 参考架构的高层概览。

Fully Automated MLOps

Passons à la pratique !

Fully Automated MLOps

Preparing Video For Download...