比较网格搜索与随机搜索
Python 中的超参数调优
Alex Scriven
Data Scientist
有哪些相同点?
随机搜索与网格搜索的相似点?
- 二者都可自动调优不同超参数
- 二者都需设定采样网格(要调的超参数及其取值)
务必慎重设计您的网格!
有哪些不同?
网格搜索:
- 穷举尝试采样空间内的所有组合
- 无采样方法学
- 计算成本更高
- 保证在采样空间内找到最佳分数
随机搜索:
- 在采样空间中随机选取部分组合(需您事先指定)
- 可选择采样方法(除默认的均匀分布外)
- 计算成本更低
- 不保证在采样空间内找到最优分数(但通常能更快找到一个"较好"的)
该用哪种?
我该用哪一个?需要考虑什么?
- 您有多少数据?
- 您想调多少超参数及其取值?
- 您的资源有多少?(时间、算力)
- 数据越多,随机搜索可能更合适。
- 数量越多,随机搜索可能更合适。
- 资源越少,随机搜索可能更合适。
Passons à la pratique !
Python 中的超参数调优
Preparing Video For Download...