模型維護

MLOps 部署與生命週期

Nemanja Radojkovic

Senior Machine Learning Engineer

回顧…

• 如何偵測異常與擾動？

 

本課焦點：ML 模型失效

¹ https://datacentricai.org/

重質不重量

• 取得含相關資訊的更多特徵
• 取得更好的標籤

 

Label == 訓練集中的目標變數值

標籤品質 == 標籤與真值的接近程度

標註工具的好處

人工標註複雜、冗長、易出錯

使用優良的標註工具！

• 標註更有效率
• 更精準
• 介面貼合需求
• 「先標這些樣本，影響最大」
• 「這裡似乎有誤」

範例：影像標註工具，用於建立影像分類器

當標籤就緒時

• 執行 ML 建置流程 ⇒ 產生新模型
• 檢查新模型是否優於舊模型
  • 是 ⇒ 測試並部署
  • 否 ⇒ 繼續探索

持續探索

• 嘗試新模型
• 嘗試新特徵
• 嘗試新資料來源

 

極為有用：Metadata store（MLflow Tracking 等）

• 紀錄模型挑選歷程
• 避免重複實驗

 

無論如何： MLOps 能以最快、最高效方式維護模型

一起來練習吧！

MLOps 部署與生命週期