自动化、监控与事件响应模式

Fully Automated MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

什么是软件设计模式?

$$

对常见问题的一种通用、可复用的解决方案…

$$

$$

一张蓝图的图片。

Fully Automated MLOps

自动化、监控、响应

$$

$$

展示流程:自动化、监控、事件响应的图片。

  • 提升所设计 ML 系统的可靠性
Fully Automated MLOps

MLOps 中三种设计模式示例

$$

  1. 模型自动再训练
  2. 模型回滚
  3. 特征填充

$$

一张蓝图的图片。

Fully Automated MLOps

1. 模型自动再训练

完全自动化 MLOps 架构的高层概览。

Fully Automated MLOps

1. 模型自动再训练——运行预测

完全自动化 MLOps 架构的高层概览。已突出预测服务。

Fully Automated MLOps

1. 模型自动再训练——监控

完全自动化 MLOps 架构的高层概览。已突出性能监控模块。

Fully Automated MLOps

1. 模型自动再训练——触发器

完全自动化 MLOps 架构的高层概览。已突出触发器组件。

Fully Automated MLOps

1. 模型自动再训练——自动化流水线

完全自动化 MLOps 架构的高层概览。已突出自动化流水线。

Fully Automated MLOps

1. 模型自动再训练——部署

完全自动化 MLOps 架构的高层概览。已突出持续交付组件。

Fully Automated MLOps

2. 模型回滚

完全自动化 MLOps 架构的高层概览。已突出自动化流水线。

Fully Automated MLOps

2. 模型回滚——验证失败

完全自动化 MLOps 架构的高层概览。已突出模型评估与模型验证步骤。

Fully Automated MLOps

2. 模型回滚——最后的可用模型

完全自动化 MLOps 架构的高层概览。已突出模型注册表。

Fully Automated MLOps

2. 模型回滚——重新部署

完全自动化 MLOps 架构的高层概览。已突出持续部署组件。

Fully Automated MLOps

3. 特征填充——数据密集型流水线

完全自动化 MLOps 架构的高层概览。已突出自动化流水线中的数据组件。

Fully Automated MLOps

3. 特征填充——数据质量

$$

一个表格,显示含缺失值的数据列。

$$

  • 数据质量参差不齐
  • 部分特征可能低于 QA 阈值
Fully Automated MLOps

3. 特征填充——缺陷特征

$$

前一表格中的列被高亮并标注为缺陷。

$$

  • 发现故障特征
  • 进行特征填充
Fully Automated MLOps

3. 特征填充——可行修复

  • 数值型

    $$

    • 均值/中位数填充

    • KNN 填充

$$

  • 分类型

    $$

  • 最高频类别填充

  • 添加"缺失"类别

Fully Automated MLOps

¡Vamos a practicar!

Fully Automated MLOps

Preparing Video For Download...