总结

Python 中的超参数调优

Alex Scriven

Data Scientist

超参数 vs 参数

   

超参数 vs 参数：

超参数是您设置的模型组件。它们不会在建模过程中被学习

参数不是您设置的。算法会为您学习得到

Python 中的超参数调优

选择哪些超参数与取值？

 

您已学习：

  • 某些超参数更适合作为起点
  • 可能为超参数设定荒谬的值
  • 需警惕相互冲突的超参数
  • 最佳实践取决于算法及其超参数
Python 中的超参数调优

回顾网格搜索

 

我们介绍了网格搜索：

  • 构建超参数组合与取值的矩阵（"网格"）
  • 为所有不同的超参数组合训练模型
  • 然后选出最佳者

计算开销大，但能保证在您的网格中找到最优。请牢记设置好网格的重要性！

Python 中的超参数调优

回顾随机搜索

 

随机搜索：

  • 与网格搜索非常相似
  • 主要区别是选择 n 个随机组合

此方法更快得到"够用"的模型，但不能保证得到网格中的"最优"。

Python 中的超参数调优

从无知到知情的搜索

了解知情搜索：

在知情搜索中，每次迭代都会从上一次中学习；而在网格与随机搜索中，是一次性建好所有模型再选最佳。

探讨的知情方法有：

  • "由粗到细"（迭代的随机后接网格搜索）
  • 贝叶斯超参数调优，用模型表现的证据更新信念
  • 遗传算法，在多代中进化模型
Python 中的超参数调优

谢谢！

Python 中的超参数调优

Preparing Video For Download...