自動化MLOpsアーキテクチャのフィーチャーストア

完全自動化MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

機械学習における特徴量

$$

特徴量エンジニアリング

生データを選択・加工・変換し、MLアルゴリズムの入力となる特徴量を作成する

作業員がスーツを着て、データ処理を象徴する紙と歯車の横に立つ画像。

$$

例:

  • 数値変換
  • カテゴリのエンコード
  • 値の集約
  • 新規フィーチャーの構築
完全自動化MLOps

エンタープライズにおける特徴量エンジニアリング

$$

バッチとストリーミングのデータソースを、データサイエンティストのチームが取り込み、典型的な特徴量エンジニアリングで変換するアーキテクチャ図。

完全自動化MLOps

エンタープライズにおける特徴量エンジニアリング

$$

前図と同様だが、別チームが独立したサイロで同じデータソースを使い特徴量エンジニアリングを実施。

完全自動化MLOps

エンタープライズにおける特徴量エンジニアリング

$$

前図の続き。3つ目のチームが同じデータソースを使い、各自のサイロで特徴量エンジニアリングを行う。

完全自動化MLOps

フィーチャーストア

$$

  • フィーチャーの集中リポジトリ

  • 自動化で重複作業を回避

  • 変換の標準化

  • 集中ストレージ

  • バッチ/リアルタイムのフィーチャー提供

$$

データソースがフィーチャーストアに取り込まれる図。ストア内でデータが変換され、作成したフィーチャーを保存し、最終的に提供も行う。

完全自動化MLOps

フィーチャーストア - 実験の加速

$$

  • 実験の加速
    • 実験用データ抽出
    • フィーチャー探索
    • 同一フィーチャーの定義の乱立を防止

$$

アーキテクチャ図。フィーチャーストアが横断し、実験・開発環境のオーケストレーションされた実験へフィーチャーを供給する。

完全自動化MLOps

フィーチャーストア - 継続学習

$$

  • 継続学習(CT)
    • 本番の自動パイプライン向けデータ抽出

$$

アーキテクチャ図。フィーチャーストアが横断し、ステージング/本番環境の継続学習コンポーネントにデータを供給する。

完全自動化MLOps

フィーチャーストア - オンライン予測

$$

  • オンライン予測
    • 事前定義フィーチャーを予測サービスで利用

$$

アーキテクチャ図。フィーチャーストアが横断し、システムの予測サービスへフィーチャーを供給する。

完全自動化MLOps

フィーチャーストア - 環境の対称性

$$

  • トレーニング/サービングのずれを防止

$$

アーキテクチャ図。フィーチャーストアが横断し、環境をまたいでパイプライン、継続学習、予測サービスへフィーチャーを供給する。

完全自動化MLOps

Passons à la pratique !

完全自動化MLOps

Preparing Video For Download...