MLOps 的編排

Fully Automated MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

MLOps 系統的核心元件

MLOps 參考架構圖，標示兩個重點：開發環境中的協同實驗，以及正式環境中的自動化 pipeline。

Fully Automated MLOps

模組化與可重用性

兩個 ML pipeline 的圖：上方為開發與實驗環境，下方為正式環境。

Fully Automated MLOps

編排與自動化

ML pipeline 用於：

  • 開發與實驗

元件圖：協同實驗。

  • 正式環境

自動化 ML pipeline 圖。

Fully Automated MLOps

MLOps 中的有向無環圖（DAG）

$$

  • 圖像化的 pipeline 呈現
  • 將步驟表示為節點
  • 以邊表示步驟相依關係

簡單 DAG：ML pipeline 中相互連結的步驟。

Fully Automated MLOps

什麼是 MLOps 的編排？

$$

  • 管理與自動化任務流程

$$

  • 任務排程與監控

$$

  • 管理資料相依與流程
Fully Automated MLOps

ML pipeline－開發與實驗

協同的 ML pipeline：位於開發與實驗環境。由資料科學家觸發，並由 orchestrator 元件編排。

  • 管理模型訓練的端到端任務
  • 正確流程、追蹤與記錄
  • 平行實驗
Fully Automated MLOps

ML pipeline－正式環境

正式環境中的自動化 ML pipeline。由自動觸發元件啟動，並由 orchestrator 元件編排。

  • 協助自動化模型部署
  • 管理並執行 pipeline 步驟
  • 部署一致且可靠
Fully Automated MLOps

一起來練習吧！

Fully Automated MLOps

Preparing Video For Download...