MLOpsにおけるオーケストレーション

完全自動化MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

MLOpsの中核コンポーネント

MLOpsのリファレンスアーキテクチャ図。開発環境のオーケストレーション実験と本番の自動パイプラインが強調表示されている。

完全自動化MLOps

モジュール性と再利用性

2つのMLパイプライン(上と下)の図。上は開発・実験環境、下は本番。

完全自動化MLOps

オーケストレーションと自動化

MLパイプラインの用途:

  • 開発・実験

コンポーネント図:オーケストレーション実験。

  • 本番

自動化されたMLパイプラインの図。

完全自動化MLOps

MLOpsのDAG(有向非巡回グラフ)

$$

  • パイプラインを図で表現
  • ステップはノードで表現
  • 依存関係はエッジ

MLパイプラインのステップが相互接続された簡単なDAGの画像。

完全自動化MLOps

MLOpsにおけるオーケストレーションとは

$$

  • タスクフローの管理と自動化

$$

  • タスクのスケジューリングと監視

$$

  • データ依存関係とフローの管理
完全自動化MLOps

MLパイプライン:開発・実験

開発・実験環境でのオーケストレーションされたMLパイプラインの図。パイプラインはデータサイエンティストによりトリガーされ、オーケストレーターコンポーネントで制御される。

  • 学習までのタスクをエンドツーエンドで管理
  • 正しいフロー、記録・ログ取得
  • 実験の並列実行
完全自動化MLOps

MLパイプライン:本番

本番環境での自動化されたMLパイプラインの図。パイプラインは自動トリガーで開始され、オーケストレーターで制御される。

  • モデルデプロイの自動化を支援
  • パイプライン各ステップを管理・実行
  • 一貫性が高く信頼できるデプロイ
完全自動化MLOps

Let's practice!

完全自動化MLOps

Preparing Video For Download...