メタデータストア

完全自動化MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

MLOpsにおけるメタデータとは

  • メタデータはアーティファクトに関する情報である
    • MLパイプライン各コンポーネントの実行で生成される

機械学習パイプライン: データ抽出、データ検証、モデル学習、モデル評価、モデル検証。

メタデータの例:

  • データバージョニング: 同一データの異なる版を保持
  • 学習アーティファクト（ハイパーパラメータ等）のメタデータ
  • パイプライン実行ログ
1 https://datacentricai.org/
完全自動化MLOps

MLにおけるメタデータの重要点

$$

  • データリネージ

  • 再現性

  • 監視

  • 規制対応

完全自動化MLOps

メタデータの重要性 - データリネージ

  • データリネージのメタデータはデータの情報を追跡:

    • 生成元から
    • 利用先まで

データリネージの概念図。データが起点から消費までに複数プロセスで変換される様子を示す。

完全自動化MLOps

メタデータの重要性 - 再現性

  • 機械学習実験のメタデータは:
    • 他者による結果再現を可能にする
    • MLシステムへの信頼を高める
    • MLプロセスに科学的厳密性を導入

再現性の概念図。研究者が互いの作業を望遠鏡で確認し合い、再現を試みる様子。

完全自動化MLOps

メタデータの重要性 - 監視

  • MLエンジニアが次を実施可能:
    • MLOpsパイプライン各部の実行を追跡
    • いつでもMLシステムの状態を確認
完全自動化MLOps

監視ツールの例

稼働中のMLOpsシステムに関連する各種メトリクスを表示する監視ダッシュボードの例。

1 https://cloud.google.com/stackdriver/docs/solutions/gke/observing
完全自動化MLOps

メタデータストア

  • MLOpsのメタデータを一元管理:

    • 実験（ログ）
    • アーティファクト
    • モデル
    • パイプライン

  • UIで次が可能:

    • モデル関連メタデータの読み書き

メタデータストアの概念図。複数の関係者とプロセスがメタデータにアクセスする一元ストアを示す。

1 https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning
完全自動化MLOps

MLOpsアーキテクチャにおけるメタデータストア

完全自動のMLOpsアーキテクチャ図。MLOpsプロセスにおけるメタデータストアの中心的役割を示す。

完全自動化MLOps

完全自動MLOpsにおけるメタデータストア

完全自動のMLOpsパイプラインの動作を自動監視できる

  • 自動インシデント対応を促進。例:

    • 自動モデル再学習
    • 自動ロールバック

ドリフトで起動されるモデル再学習の図。横軸: 時間、縦軸: 性能。各曲線にドリフト点があり、検知後に新モデルの曲線が開始。

完全自動化MLOps

練習してみましょう！

完全自動化MLOps

Preparing Video For Download...