MLOpsの自動化とデプロイ戦略

完全自動化MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

モデルのデプロイ - 予測サービス

MLOps参照アーキテクチャの図。予測サービスがハイライトされている。

完全自動化MLOps

予測サービス - モードの振り返り

予測の提供モード：

  • バッチ
  • ストリーム
  • リアルタイム
  • エッジ
完全自動化MLOps

予測サービス - バッチ提供

$$

  • 大量予測

$$

  • 定期スケジュール

$$

  • イベントトリガー

$$

$$

$$

バッチ処理の図。全入力がバッチエンジンに渡され、全出力が一括で返る。

完全自動化MLOps

予測サービス - ストリーミング提供

$$

  • データが継続的に到着

$$

  • 予測も継続的に出力

$$

$$

ストリーム処理の図。要素が継続的にストリームエンジンへ。処理後、出力も継続的に配信。

完全自動化MLOps

予測サービス - リアルタイム

$$

  • 単一レコード

$$

  • 即時予測

$$

$$

リアルタイム相互作用の図

完全自動化MLOps

予測サービス - エッジ

$$

  • モバイル端末

$$

  • IoTデバイス

$$

  • 低レイテンシ

$$

モバイル端末上で動作するIoTアプリの画像

完全自動化MLOps

デプロイ戦略

$$

MLの提供形態は、予測サービスのデプロイと更新方法を決めます

モデルのデプロイ戦略：

  • シャドー・デプロイ
  • カナリア・デプロイ
  • A/Bテスト
  • ブルー/グリーン
完全自動化MLOps

A/Bテスト

デプロイ済み予測サービスでのA/Bテストの図。予測リクエストはロードバランサに送られ、モデルAとBへ分配される。モデルの性能は継続監視される。

完全自動化MLOps

A/Bテスト

A/Bテストのデプロイ図。十分に監視後、モデルBの性能が高いと判明。全リクエストを最良モデルに切替える。

完全自動化MLOps

シャドー・デプロイ

シャドー・デプロイの図。リクエストはロードバランサから本番モデルとシャドーモデルへ送られる。予測を返すのは本番のみ。両モデルの性能を継続監視。

完全自動化MLOps

ブルー/グリーン・デプロイ

ブルー/グリーン・デプロイの図。ブルー環境で本番稼働中のモデル。

完全自動化MLOps

ブルー/グリーン・デプロイ

更新モデルをブルー環境の複製（グリーン環境）に配置。トラフィックスイッチが自動でブルーからグリーンへ振り分け開始。

完全自動化MLOps

ブルー/グリーン・デプロイ

ブルー/グリーン・デプロイの図。全トラフィックを段階的に自動でグリーンへ切替。

完全自動化MLOps

ブルー/グリーン・デプロイ

切替完了後、ブルー環境は削除可能。更新済みモデルのグリーン環境が新たな本番となる。

完全自動化MLOps

予測サービスのデプロイと更新

$$

モデル種別がデプロイ戦略を決める

デプロイ戦略と特性（無停止、条件ベース、ロールバック時間、追加コスト）の表

完全自動化MLOps

演習に進みましょう！

完全自動化MLOps

Preparing Video For Download...