エンドツーエンド機械学習フレームワークのアーキテクチャ要素

End-to-End Machine Learning

Joshua Stapleton

Machine Learning Engineer

Feature Store

特徴量 (Features)

  • 特徴量選択
  • 特徴量エンジニアリング

Feature Store

  • 特徴量の集中リポジトリ
  • 一貫性を確保、重複を削減
  • 共有と発見を可能に
  • 変換・計算を標準化

Feature Storeを追加した機械学習ライフサイクルの図

End-to-End Machine Learning

Feast

Feast

  • Feature Store 実装で一般的なツール
  • ML特徴量の管理・保存・提供・探索を統合

原則

  • 特徴量を Feature Set で定義・登録
  • Feature Set: 関連特徴量とメタデータのグループ

例: 心疾患の特徴量

  • 患者エンティティ
  • 関連特徴量（コレステロール、年齢、性別）
End-to-End Machine Learning

Feast Feature Store パート1

from feast import Field, Entity, ValueType, FeatureStore
from feast.data_source import FileSource


# Define the entity, which in this case is a patient, and features
patient = Entity(name="patient", join_keys=["patient_id"])

chol = Field(name="chol", dtype=Float32)
age = Field(name="age", dtype=Int32)
...

# Define the data source
data_source = FileSource(
    path="/path_to_heart_disease_dataset.csv",
    event_timestamp_column="event_timestamp",
    created_timestamp_column="created")
End-to-End Machine Learning

Feast Feature Store パート2

# ... continued
# Create a feature view of the data
heart_disease_fv = FeatureView(name="heart_disease", entities=[patient],
    schema=[cholesterol, ...], ttl=timedelta(days=1), input=data_source,)


# Create a FeatureStore object
store = FeatureStore(repo_path=".")


# Register the FeatureView
store.apply([patient, heart_disease_fv])
End-to-End Machine Learning

モデルレジストリ

モデルレジストリ

  • バージョン管理
  • モデルの異なる版を追跡
  • モデルに注釈を付与
  • 時系列で性能を追跡

利点

  • 整理
  • 透明性
  • 再現性

モデルレジストリを追加した機械学習ライフサイクルの図

End-to-End Machine Learning

Passons à la pratique !

End-to-End Machine Learning

Preparing Video For Download...