企业如何全面做好 MLOps 准备

面向业务的 MLOps

Arne Jonas Warnke

Head of Emerging Curriculum

我们的 MLOps 水平如何？

$$

要提升我们的 MLOps 能力，需要：

• 评估
• 度量

如何做到？

$$

MLOps 成熟度模型

Microsoft：

• 5 个级别

涉及

• 流程、技术、人员

Google：

• 3 个级别

涉及

• 自动化水平

$$

$$

微软 MLOps 成熟度模型 - Level 0

$$

Level	Description	Highlights
0	无 MLOps	团队割裂，流程手动

¹ https://learn.microsoft.com/en-us/azure/architecture/example-scenario/mlops/mlops-maturity-model

微软 MLOps 成熟度模型 - Level 1

$$

Level	Description	Highlights
0	无 MLOps	团队割裂，流程手动
1	有 DevOps 无 MLOps	团队割裂，数据采集自动化，初步自动化测试

¹ https://learn.microsoft.com/en-us/azure/architecture/example-scenario/mlops/mlops-maturity-model

微软 MLOps 成熟度模型 - Level 2

$$

Level	Description	Highlights
0	无 MLOps	团队割裂，流程手动
1	有 DevOps 无 MLOps	团队割裂，数据采集自动化，初步自动化测试
2	训练自动化	更好协作、可复现、更易部署

¹ https://learn.microsoft.com/en-us/azure/architecture/example-scenario/mlops/mlops-maturity-model

微软 MLOps 成熟度模型 - Level 3

$$

Level	Description	Highlights
0	无 MLOps	团队割裂，流程手动
1	有 DevOps 无 MLOps	团队割裂，数据采集自动化，初步自动化测试
2	训练自动化	更好协作、可复现、更易部署
3	部署自动化	协作良好、完全可复现、可追溯、自动化测试

¹ https://learn.microsoft.com/en-us/azure/architecture/example-scenario/mlops/mlops-maturity-model

微软 MLOps 成熟度模型 - Level 4

$$

Level	Description	Highlights
0	无 MLOps	团队割裂，流程手动
1	有 DevOps 无 MLOps	团队割裂，数据采集自动化，初步自动化测试
2	训练自动化	更好协作、可复现、更易部署
3	部署自动化	协作良好、完全可复现、可追溯、自动化测试
4	重新训练自动化	全面协作，精通运维，几乎无停机

¹ https://learn.microsoft.com/en-us/azure/architecture/example-scenario/mlops/mlops-maturity-model

衡量我们迈向 MLOps 的进度

$$

成熟度模型很好

• 但如何持续衡量进展？
• 用 MLOps KPI？

可选的 MLOps KPI

$$

• 部署频率
  • 每周发布多少次？
• 响应故障的时间
  • 出错后，恢复应用需要多久？
• 变更交付前置时间
  • 例：新增功能所需时间。

¹ https://cloud.google.com/blog/products/devops-sre/using-the-four-keys-to-measure-your-devops-performance

¡Vamos a practicar!

面向业务的 MLOps