端到端机器学习框架的架构组件

端到端机器学习

Joshua Stapleton

Machine Learning Engineer

特征库

特征

  • 特征选择
  • 特征工程

特征库（Feature Store）

  • 特征的集中存储库
  • 保证一致性，减少重复
  • 支持共享与发现
  • 规范特征变换与计算

添加特征库的机器学习生命周期图

端到端机器学习

Feast

Feast

  • 流行的特征库实现工具
  • 为机器学习特征提供统一的管理、存储、服务与发现

原则

  • 用特征集定义并注册特征
  • 特征集：相关特征与元数据的分组

示例：心脏病特征

  • 患者实体
  • 关联特征（胆固醇、年龄、性别）
端到端机器学习

Feast 特征库 第1部分

from feast import Field, Entity, ValueType, FeatureStore
from feast.data_source import FileSource


# Define the entity, which in this case is a patient, and features
patient = Entity(name="patient", join_keys=["patient_id"])

chol = Field(name="chol", dtype=Float32)
age = Field(name="age", dtype=Int32)
...

# Define the data source
data_source = FileSource(
    path="/path_to_heart_disease_dataset.csv",
    event_timestamp_column="event_timestamp",
    created_timestamp_column="created")
端到端机器学习

Feast 特征库 第2部分

# ... continued
# Create a feature view of the data
heart_disease_fv = FeatureView(name="heart_disease", entities=[patient],
    schema=[cholesterol, ...], ttl=timedelta(days=1), input=data_source,)


# Create a FeatureStore object
store = FeatureStore(repo_path=".")


# Register the FeatureView
store.apply([patient, heart_disease_fv])
端到端机器学习

模型注册表

模型注册表

  • 版本控制系统
  • 追踪模型的不同版本
  • 注释模型
  • 跟踪长期性能

优势

  • 组织有序
  • 透明性
  • 可复现性

添加模型注册表的机器学习生命周期图

端到端机器学习

Passons à la pratique !

端到端机器学习

Preparing Video For Download...