自动化 MLOps 架构中的特征库

Fully Automated MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

机器学习中的特征

$$

特征工程

选择、处理并转换原始数据源，构建供机器学习算法使用的特征

一幅图：一名穿着防护服的工作人员站在纸张与齿轮旁，象征数据处理流程。

$$

示例：

  • 数值转换
  • 类别编码
  • 值分组
  • 构造新特征
Fully Automated MLOps

企业中的特征工程

$$

架构图：展示批处理与流式数据源，被数据科学团队消费，并在典型的特征工程流程中转换。

Fully Automated MLOps

企业中的特征工程

$$

与前图相同的架构图，但新增一支团队也在各自孤岛中消费数据源并进行特征工程。

Fully Automated MLOps

企业中的特征工程

$$

延续前图，又有第三支团队在各自孤岛中使用相同数据源进行特征工程。

Fully Automated MLOps

特征库

$$

  • 集中特征仓库

  • 通过自动化避免重复工作

  • 统一转换标准

  • 集中存储

  • 批处理与实时特征服务

$$

一张架构图：数据源被摄入特征库。在特征库内进行数据转换，生成的特征被存储，最终特征库还对外提供这些特征。

Fully Automated MLOps

特征库 - 加速实验

$$

  • 加速实验
    • 为实验提供数据抽取
    • 特征发现
    • 避免相同特征的多重定义

$$

一张架构图：特征库横向贯穿，为"实验与开发"环境中的编排实验提供特征。

Fully Automated MLOps

特征库 - 持续训练

$$

  • 持续训练（CT）
    • 为生产中的自动化流水线提供数据抽取

$$

架构图：特征库横向贯穿。它向预发布/生产环境的持续训练组件提供数据。

Fully Automated MLOps

特征库 - 在线预测

$$

  • 在线预测
    • 为预测服务提供预定义特征

$$

架构图：特征库横向贯穿。它向系统中的预测服务提供特征。

Fully Automated MLOps

特征库 - 环境对称性

$$

  • 避免训练-服务偏差

$$

一张架构图：特征库横向贯穿。它在各环境向编排流水线、持续训练与预测服务提供特征。

Fully Automated MLOps

让我们练习吧！

Fully Automated MLOps

Preparing Video For Download...