中繼資料儲存區

Fully Automated MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

MLOps 中的中繼資料是什麼？

  • 中繼資料（Metadata） 是關於產出物的資訊，
    • 這些產出物是在 ML pipeline 不同元件執行時建立的。

呈現一個機器學習 pipeline。步驟包含：資料擷取、資料驗證、模型訓練、模型評估與模型驗證。

中繼資料範例：

  • 資料版控：保留同一資料的不同版本
  • 訓練產出物的中繼資料，例如超參數
  • Pipeline 執行記錄
1 https://datacentricai.org/
Fully Automated MLOps

ML 中繼資料的重要面向

$$

  • 資料沿襲（Data lineage）

  • 可重現性

  • 監控

  • 法規合規

Fully Automated MLOps

中繼資料的重要性：資料沿襲

  • 資料沿襲中繼資料會追蹤資料資訊：

    • 從產生起點
    • 到被消耗的各個節點

資料沿襲概念示意圖。顯示資料從來源到被使用之間，經多個流程轉換。

Fully Automated MLOps

中繼資料的重要性：可重現性

  • 關於我們機器學習實驗的中繼資料：
    • 讓他人能重現你的結果
    • 提升對 ML 系統的信任
    • 為 ML 流程引入科學嚴謹性

可重現性概念示意圖。多位科學家透過望遠鏡彼此觀察，希望重現對方的研究。

Fully Automated MLOps

中繼資料的重要性：監控

  • 使機器學習工程師可以：
    • 追蹤 MLOps pipeline 各部分的執行
    • 隨時檢查 ML 系統狀態
Fully Automated MLOps

監控工具範例

監控儀表板範例，顯示執行中 MLOps 系統的多項指標。

1 https://cloud.google.com/stackdriver/docs/solutions/gke/observing
Fully Automated MLOps

中繼資料儲存區

  • 集中化位置，用來管理所有 MLOps 中繼資料，包含：

    • 實驗（記錄）
    • 產出物
    • 模型
    • Pipeline

  • 提供使用者介面，可讓我們：

    • 讀寫所有與模型相關的中繼資料

中繼資料儲存區示意圖。顯示多個角色與流程存取集中式的中繼資料。

1 https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning
Fully Automated MLOps

MLOps 架構中的中繼資料儲存區

全自動 MLOps 架構圖。顯示中繼資料儲存區在 MLOps 流程中的核心角色。

Fully Automated MLOps

全自動 MLOps 中的中繼資料儲存區

它能啟用全自動 MLOps pipeline 的自動監控

  • 進而促成自動事件回應。例如：

    • 自動模型再訓練
    • 自動回滾

以圖表呈現因 ML 系統漂移而觸發的模型再訓練。x 軸為時間，y 軸為效能；每條曲線隨時間衰退並在偵測到漂移時啟動新模型。

Fully Automated MLOps

一起來練習吧！

Fully Automated MLOps

Preparing Video For Download...