總結

Python 超參數調校

Alex Scriven

Data Scientist

超參數 vs 參數

   

超參數 vs 參數:

超參數是你為模型設定的元件。它們不會在建模過程中被學到

參數不是由你設定。演算法會替你找出它們

Python 超參數調校

該用哪些超參數與數值?

 

你學到:

  • 有些超參數更適合作為起始設定
  • 有些超參數值明顯不合理
  • 需要留意彼此衝突的超參數
  • 最佳做法會依演算法與其超參數而異
Python 超參數調校

網格搜尋重點回顧

 

我們介紹了網格搜尋:

  • 建立超參數組合與數值的矩陣(或「grid」)
  • 為所有不同的超參數組合訓練模型
  • 然後選出表現最佳者

這種方法計算成本高,但保證能在你的 grid 中找到最佳解。(記得設定一個好的 grid 很重要!)

Python 超參數調校

隨機搜尋重點回顧

 

隨機搜尋:

  • 與網格搜尋非常相似
  • 主要差異是隨機選取 n 個組合

此法較快得到「可用」的模型,但不會保證找到 grid 中「最佳」者。

Python 超參數調校

從無資訊到有資訊的搜尋

認識有資訊搜尋:

在有資訊搜尋中,每次疊代會從上一次學習;而在網格與隨機方法中,會一次完成所有建模,再選最佳者。

探討的方法包括:

  • 「由粗到細」(先疊代隨機,再網格搜尋)
  • 貝葉斯超參數調校,以模型表現作為證據更新信念
  • 基因演算法,讓模型在多代中演化
Python 超參數調校

感謝!

Python 超參數調校

Preparing Video For Download...