超参数自动调优

Fully Automated MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

什么是超参数？

超参数是控制学习过程的可调节值

  • 非训练中学习得到
  • 在训练模型前设定

$$

示例：

  • 神经网络的模型结构
  • 决策树的分支数
  • 学习率
Fully Automated MLOps

什么是超参数调优？

图片：数据科学家为神经网络调整超参数。神经网络训练例程在训练时调优可学习参数。这些组合产生不同得分。

Fully Automated MLOps

超参数调优方法

  • 网格搜索

$$

$$

  • 随机搜索

$$

$$

  • 贝叶斯优化

网格搜索动画，展示有序搜索。

随机搜索动画，展示随机搜索。

贝叶斯优化动画，展示智能搜索。

Fully Automated MLOps

自动化超参数调优

图片：引擎探索超参数组合。

Fully Automated MLOps

超参数自动调优步骤

  • 需要定义：
    • 待优化的超参数集合
    • 各参数的搜索空间
    • 需优化的性能指标
    • 停止条件

一幅流程图：定义待优化的超参数、为每个超参数定义搜索空间、指定优化目标、指定停止条件。底部由超参数调优方法驱动整个流程。

Fully Automated MLOps

自动寻找最佳超参数集合

$$

上一流程图的扩展。在底部得到最佳超参数集合。

Fully Automated MLOps

超参数与环境对称性

$$

展示环境对称性的图片。同一组调好的超参数用于开发/实验与生产。

Fully Automated MLOps

超参数调优——实验追踪

展示超参数自动调优流程的图片。流程顶部，自动实验追踪系统收集元数据，如调优时使用的超参数。这些元数据被保存到元数据存储中。

Fully Automated MLOps

示例——超参数可视化

超参数调优可视化工具示例。

Fully Automated MLOps

Passons à la pratique !

Fully Automated MLOps

Preparing Video For Download...