リファレンスアーキテクチャ:完全自動のMLOps

完全自動化MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

リファレンスアーキテクチャとは?

$$

リファレンスアーキテクチャは、各種IT領域で解決策を設計するためのひな型です。

次を含む文書セット:

  • IT要素の構成と連携
  • ITシステム(ML含む)に共通するパターン

  • 業界の知見とベストプラクティスを活用

完全自動化MLOps

完全自動MLOpsアーキテクチャ

完全自動MLOpsリファレンスアーキテクチャの全体像。

1 https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning
完全自動化MLOps

リファレンスアーキテクチャ - 実験のオーケストレーション

完全自動MLOpsリファレンスアーキテクチャの全体像。左から、データ分析、オーケストレート実験、ソースコード、ソースコードリポジトリの一連のボックスにズームインします。

完全自動化MLOps

リファレンスアーキテクチャ - ソースコードとCI

画像が左に移動。ソースコードリポジトリの後に継続的インテグレーションのブロックがあり、ビルドがパッケージを出力します。

完全自動化MLOps

リファレンスアーキテクチャ - アーティファクトとCD

画像が下に移動し、継続的デリバリのボックスが表示されます。

完全自動化MLOps

リファレンスアーキテクチャ - MLパイプラインのデプロイ

画像が左に移動し、データ抽出、データ検証、データ前処理、モデル学習、モデル評価、モデル検証から成る自動MLパイプラインが示されます。

完全自動化MLOps

リファレンスアーキテクチャ - メタデータストア

画像が下に移動し、MLパイプラインで生成されたログをメタデータストアが収集する様子を示します。

完全自動化MLOps

リファレンスアーキテクチャ - モデルレジストリ

画像が右上に移動し、MLパイプラインで学習したモデルがモデルレジストリにプッシュされることを示します。

完全自動化MLOps

リファレンスアーキテクチャ - 予測サービス

画像が下に移動し、MLパイプラインで学習したモデルが継続的に予測サービスにデリバリされることを示します。

完全自動化MLOps

リファレンスアーキテクチャ - 継続的モニタリング

画像が左に移動し、予測サービスの性能を追跡するパフォーマンス監視コンポーネントがあることを示します。

完全自動化MLOps

リファレンスアーキテクチャ - 自動トリガー

画像がさらに左に移動し、パフォーマンス監視に接続されたトリガーコンポーネントを示します。

完全自動化MLOps

リファレンスアーキテクチャ - 自動再学習

画像が上に移動し、トリガーがシステム内の自動MLパイプラインを起動できることを示します。

完全自動化MLOps

リファレンスアーキテクチャ

完全自動MLOpsリファレンスアーキテクチャの全体像がズームアウトで表示されます。

完全自動化MLOps

リファレンスアーキテクチャ - フィーチャーストア

完全自動MLOpsリファレンスアーキテクチャの全体像。画像がフィーチャーストアにズームインします。

完全自動化MLOps

リファレンスアーキテクチャ - フィーチャーストア

画像が下に移動し、フィーチャーストアがステージング、プリプロダクション、本番の自動MLパイプラインにもデータを供給することを示します。

完全自動化MLOps

リファレンスアーキテクチャ - フィーチャーストア

画像がフィーチャーストアにズームイン。実験・開発環境のオーケストレート実験モジュールへデータを供給します。

完全自動化MLOps

リファレンスアーキテクチャ - フィーチャーストア

画像がフィーチャーストアにズームイン。予測サービスにもデータを供給します。

完全自動化MLOps

完全自動MLOpsアーキテクチャ

完全自動MLOpsリファレンスアーキテクチャの全体像。

完全自動化MLOps

Let's practice!

完全自動化MLOps

Preparing Video For Download...