自動化超參數調校

Fully Automated MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

什麼是超參數？

超參數是控制學習過程的可調整數值。

  • 不會在訓練過程中學到
  • 在訓練 ML 模型前先設定

$$

例子：

  • 類神經網路的模型架構
  • 決策樹的分枝數
  • 學習率
Fully Automated MLOps

什麼是超參數調校？

圖片顯示資料科學家在調整類神經網路的超參數。訓練流程會在訓練時期調整可學習的參數。不同組合產生不同分數。

Fully Automated MLOps

超參數調校方法

  • Grid Search

$$

$$

  • Random Search

$$

$$

  • Bayesian Optimization

格點搜尋動畫，顯示有序搜尋。

隨機搜尋動畫，顯示隨機探索。

貝葉斯最佳化動畫，顯示智慧搜尋。

Fully Automated MLOps

自動化超參數調校

圖片顯示一個引擎在探索超參數組合。

Fully Automated MLOps

自動化超參數調校步驟

  • 需要定義：
    • 要最佳化的超參數集合
    • 各參數的搜尋空間
    • 要最佳化的效能指標
    • 停止條件

一張流程圖：定義要最佳化的超參數、為每個超參數定義搜尋空間、指定要最佳化的目標、指定停止條件。底部由超參數調校方法驅動整個流程。

Fully Automated MLOps

自動找出最佳超參數組合

$$

前述流程圖的延伸。在底部找到最佳的超參數組合。

Fully Automated MLOps

超參數與環境對稱性

$$

一張圖示說明環境對稱性。相同的已調校超參數同時用於開發/實驗與正式環境。

Fully Automated MLOps

超參數調校－實驗追蹤

自動化超參數調校流程示意圖。流程頂端的自動化實驗追蹤系統會收集所用超參數等中介資料，並儲存到中介資料儲存庫。

Fully Automated MLOps

範例－超參數視覺化

超參數調校視覺化工具範例。

Fully Automated MLOps

一起來練習吧！

Fully Automated MLOps

Preparing Video For Download...