比較 Grid Search 與 Random Search

Python 超參數調校

Alex Scriven

Data Scientist

有哪些相同？

Random 與 Grid Search 的共通點？

  • 兩者都能自動調整不同的超參數
  • 兩者都要先設定取樣的格網（哪些超參數與各自的值）

 

記得好好設計你的格網！

 

  • 兩者都要設定交叉驗證方案與評分函式
Python 超參數調校

有哪些不同？

Grid Search：

  • 在樣本空間內將所有組合全面嘗試
  • 不採用取樣方法
  • 計算成本較高
  • 保證能在樣本空間內找到最佳分數

Random Search：

  • 在樣本空間內隨機挑選部分組合（需由你指定）
  • 可選擇取樣方法（預設為均勻以外也可）
  • 計算成本較低
  • 不保證找到樣本空間的最佳分數（但更可能更快找到「不錯」的解）
Python 超參數調校

該選哪一個？

我該用哪一個？要考量什麼？

  • 你有多少資料？
  • 你要調多少超參數與各自的值？
  • 你有多少資源？（時間、算力）

 

  • 資料越多，Random Search 可能更適合。
  • 以上越多，Random Search 可能更適合。
  • 資源越少，Random Search 可能更適合。
Python 超參數調校

一起來練習吧！

Python 超參數調校

Preparing Video For Download...