比较网格搜索与随机搜索

Python 中的超参数调优

Alex Scriven

Data Scientist

有哪些相同点?

随机搜索与网格搜索的相似点?

  • 二者都可自动调优不同超参数
  • 二者都需设定采样网格(要调的超参数及其取值)

 

务必慎重设计您的网格!

 

  • 二者都需设定交叉验证方案与评分函数
Python 中的超参数调优

有哪些不同?

网格搜索:

  • 穷举尝试采样空间内的所有组合
  • 无采样方法学
  • 计算成本更高
  • 保证在采样空间内找到最佳分数

随机搜索:

  • 在采样空间中随机选取部分组合(需您事先指定)
  • 可选择采样方法(除默认的均匀分布外)
  • 计算成本更低
  • 不保证在采样空间内找到最优分数(但通常能更快找到一个"较好"的)
Python 中的超参数调优

该用哪种?

我该用哪一个?需要考虑什么?

  • 您有多少数据?
  • 您想调多少超参数及其取值?
  • 您的资源有多少?(时间、算力)

 

  • 数据越多,随机搜索可能更合适。
  • 数量越多,随机搜索可能更合适。
  • 资源越少,随机搜索可能更合适。
Python 中的超参数调优

Passons à la pratique !

Python 中的超参数调优

Preparing Video For Download...