企業如何做到完整的 MLOps 就緒

商務 MLOps

Arne Jonas Warnke

Head of Emerging Curriculum

我們在 MLOps 的現況？

$$

改善我們的 MLOps 能力需要：

• 評估
• 衡量

要怎麼做？

$$

MLOps 成熟度模型

Microsoft：

• 5 個等級

對應到

• 流程、技術、人員

Google：

• 3 個等級

對應到

• 自動化程度

$$

$$

Microsoft MLOps 成熟度模型 - 等級 0

$$

Level	Description	Highlights
0	No MLOps	團隊各自為政，流程手動

¹ https://learn.microsoft.com/en-us/azure/architecture/example-scenario/mlops/mlops-maturity-model

Microsoft MLOps 成熟度模型 - 等級 1

$$

Level	Description	Highlights
0	No MLOps	團隊各自為政，流程手動
1	DevOps no MLOps	團隊各自為政，資料自動蒐集，開始自動化測試

¹ https://learn.microsoft.com/en-us/azure/architecture/example-scenario/mlops/mlops-maturity-model

Microsoft MLOps 成熟度模型 - 等級 2

$$

Level	Description	Highlights
0	No MLOps	團隊各自為政，流程手動
1	DevOps no MLOps	團隊各自為政，資料自動蒐集，開始自動化測試
2	Automated Training	更佳合作、可重現性提升、佈署更容易

¹ https://learn.microsoft.com/en-us/azure/architecture/example-scenario/mlops/mlops-maturity-model

Microsoft MLOps 成熟度模型 - 等級 3

$$

Level	Description	Highlights
0	No MLOps	團隊各自為政，流程手動
1	DevOps no MLOps	團隊各自為政，資料自動蒐集，開始自動化測試
2	Automated Training	更佳合作、可重現性提升、佈署更容易
3	Automated Deployment	良好合作、完整可重現、可追溯、測試自動化

¹ https://learn.microsoft.com/en-us/azure/architecture/example-scenario/mlops/mlops-maturity-model

Microsoft MLOps 成熟度模型 - 等級 4

$$

Level	Description	Highlights
0	No MLOps	團隊各自為政，流程手動
1	DevOps no MLOps	團隊各自為政，資料自動蒐集，開始自動化測試
2	Automated Training	更佳合作、可重現性提升、佈署更容易
3	Automated Deployment	良好合作、完整可重現、可追溯、測試自動化
4	Automated Re-training	完整協作、營運成熟、幾乎無停機

¹ https://learn.microsoft.com/en-us/azure/architecture/example-scenario/mlops/mlops-maturity-model

衡量邁向 MLOps 的進度

$$

成熟度模型很好，

• 但如何持續衡量進展？
• MLOps KPI？

可能的 MLOps KPI

$$

• 佈署頻率
  • 每週佈署幾次？
• 回應事件的時間
  • 發生錯誤時，恢復應用程式需要多久？
• 變更前置時間
  • 例如，加入新功能所需時間。

¹ https://cloud.google.com/blog/products/devops-sre/using-the-four-keys-to-measure-your-devops-performance

一起來練習吧！

商務 MLOps