元数据存储

Fully Automated MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

MLOps 中的元数据是什么？

• 元数据是关于在 ML 流水线各组件执行中创建的产物的信息

元数据示例：

• 数据版本控制：保留同一数据的不同版本

• 训练产物的元数据，如超参数

• 流水线执行日志

¹ https://datacentricai.org/

ML 中元数据的重要方面

$$

• 数据血缘

• 可复现性

• 监控

• 合规性

元数据的重要性——数据血缘

• 数据血缘元数据跟踪数据的信息：

  • 从其创建点
  • 到其被消费的各点

元数据的重要性——可复现性

• 关于机器学习实验的元数据：
  • 使他人能复现结果
  • 提升对 ML 系统的信任
  • 为 ML 流程引入科学严谨性

元数据的重要性——监控

• 它使机器学习工程师能够：
  • 跟踪 MLOps 流水线各部分的执行
  • 随时检查 ML 系统状态

监控工具示例

¹ https://cloud.google.com/stackdriver/docs/solutions/gke/observing

元数据存储

• 集中管理所有 MLOps 元数据：

  • 实验（日志）
  • 产物
  • 模型
  • 流水线

• 提供界面用于：

  • 读写所有与模型相关的元数据

¹ https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning

MLOps 架构中的元数据存储

全自动 MLOps 中的元数据存储

它支持对全自动 MLOps 流水线的功能进行自动监控

• 促进自动化事件响应，例如：

  • 自动重新训练模型
  • 自动回滚

让我们来练习！

Fully Automated MLOps