自動化 MLOps 架構中的 Feature Store

Fully Automated MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

機器學習中的特徵

$$

特徵工程

選取、操作並轉換原始資料，建立作為 ML 演算法輸入的特徵

一名穿著西裝的工作者站在紙張與齒輪旁，象徵資料處理流程。

$$

範例：

  • 數值轉換
  • 類別編碼
  • 值群組化
  • 建構新特徵
Fully Automated MLOps

企業中的特徵工程

$$

架構圖：資料來源（批次與串流）由資料科學團隊取用，經典特徵工程流程轉換資料。

Fully Automated MLOps

企業中的特徵工程

$$

同一架構圖，但新增另一團隊各自取用資料來源，在各自的孤島中進行特徵工程。

Fully Automated MLOps

企業中的特徵工程

$$

延續前圖，第三個團隊也各自取用相同資料來源，在自己的孤島中做特徵工程。

Fully Automated MLOps

Feature Store

$$

  • 集中化特徵儲存庫

  • 以自動化避免重工

  • 轉換標準化

  • 集中式儲存

  • 批次與即時特徵供應

$$

架構圖：資料來源匯入 feature store。於 feature store 內進行轉換、儲存建立的特徵，並提供特徵服務。

Fully Automated MLOps

Feature Store：加速試驗

$$

  • 加速試驗
    • 提供實驗用資料擷取
    • 特徵探索
    • 避免相同特徵多重定義

$$

架構圖。Feature Store 橫向貫穿，向實驗與開發環境中的管控實驗提供特徵。

Fully Automated MLOps

Feature Store：持續訓練

$$

  • 持續訓練（CT）
    • 提供正式環境自動化 pipeline 的資料擷取

$$

架構圖。Feature Store 橫向貫穿，向預備/正式環境的持續訓練元件提供資料。

Fully Automated MLOps

Feature Store：線上預測

$$

  • 線上預測
    • 以預先定義的特徵供應預測服務

$$

架構圖。Feature Store 橫向貫穿，向系統中的預測服務提供特徵。

Fully Automated MLOps

Feature Store：環境對稱性

$$

  • 避免訓練與服務不一致（skew）

$$

架構圖。Feature Store 橫向貫穿，跨環境向管控的 pipeline、持續訓練與預測服務提供特徵。

Fully Automated MLOps

一起來練習吧！

Fully Automated MLOps

Preparing Video For Download...