實驗追蹤自動化

Fully Automated MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

機器學習具實驗性質

可調整的多個「拉桿」：

• 資料轉換
  • 使用的特徵
• 訓練演算法
  • 超參數調校
• 評估指標
  • Precision、recall 等

龐大的可能空間！

$$

手動機器學習流程的問題

缺乏自動化＝手動 ML 流程的問題

• 難以追蹤實驗與結果
• 浪費時間與資源
• 成果難以重現／分享

ML 的自動化記錄

需記錄的重要項目：

• 程式碼
• 環境
• 資料
• 參數
• 指標

記錄的重要性

記錄對以下事項至關重要：

• ML 系統實驗的可重現性。
• 追蹤系統效能並做出明智決策。
• 找出可改進的潛在問題。

$$

可重現性帶來透明度，對建立系統的可信度至關重要。

實驗追蹤自動化系統

$$

以每次執行或實驗來組織記錄，可用來：

• 檢視模型訓練中繼資料
• 比較多次模型訓練
• 重現模型訓練

$$

實驗追蹤自動化－現今工具生態

自動化實驗追蹤的常見工具：

• TensorBoard

$$

• MLFlow

$$

• Weights & Biases

$$

• Neptune

$$

$$

$$

一起來練習吧！

Fully Automated MLOps