自动化实验追踪

Fully Automated MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

机器学习具有实验性质

可试验的"杠杆"很多：

• 数据变换
  • 使用的特征
• 训练算法
  • 超参数调优
• 评估指标
  • 精确率、召回率等

广阔的可能空间！

$$

手工机器学习流程的问题

缺乏自动化 = 手工ML流程的问题

• 难以追踪实验与结果
• 浪费时间和资源
• 难以复现/共享结果

ML中的自动化日志记录

应记录的关键信息：

• 代码
• 环境
• 数据
• 参数
• 指标

日志记录的重要性

日志对于以下方面至关重要：

• 保障ML实验的可复现性。
• 追踪系统性能并做出明智决策。
• 发现改进空间与潜在问题。

$$

可复现性提升透明度，是系统可信的关键。

自动化实验追踪系统

$$

按运行或实验组织日志，以便：

• 查看模型训练元数据
• 比较模型训练运行
• 复现实验训练运行

$$

自动化实验追踪——当今市场

常见的实验追踪工具：

• TensorBoard

$$

• MLflow

$$

• Weights & Biases

$$

• Neptune

$$

$$

$$

Passons à la pratique !

Fully Automated MLOps