デプロイ

LLMOps の概念

Max Knobbout, PhD

Applied Scientist, Uber

LLMライフサイクル: デプロイ

LLMアプリケーションのライフサイクル各フェーズの概要

LLMOps の概念

デプロイメントへ移行する

箱を引っ張る漫画キャラクターの遊び心ある画像

  • 一律に当てはまるものはない！
  • アプリケーションには、チェーン/エージェントロジック、ベクトルデータベース、LLMなどを含めることができます
  • 各コンポーネントはデプロイされ、連携して動作する必要があります
LLMOps の概念

ステップ 1： ホスティングの選択

  • プライベート/パブリッククラウドまたはオンプレミスホスティング
  • 多くのクラウドプロバイダーは、LLMのホスティングとデプロイメントのためのソリューションを提供しています

司会

LLMOps の概念

ステップ 2： API設計

  • API を使うと、異なるソフトウェア同士がやり取りできます
  • デザインはスケーラビリティ、コスト、インフラ要件に影響します
  • セキュリティは極めて重要で、APIキーで制御されます!

API設計

LLMOps の概念

ステップ 3： 実行方法

  • オプション:

    1. コンテナー
    2. サーバーレス関数
    3. クラウド管理サービス

  • コスト、スケーラビリティ、効率性、柔軟性などの観点からの長所／短所

Dockerロゴ

実行アーキテクチャ

LLMOps の概念

CI/CD

継続的インテグレーション（CI）:

  1. ソース元: ソースコードを取得する
  2. 構築: コード{{2}}を含むコンテナーイメージを作成する
  3. テスト: 統合テストを実行
  4. 登録: コンテナーをレジストリに保存します

継続的デプロイ（CD）:

  1. 取得: レジストリからコンテナーを取得
  2. テスト: デプロイメントテストを実行する
  3. デプロイ: コンテナを環境にデプロイする:
    • 検証環境
    • 本番
LLMOps の概念

拡大縮小

大規模なロボットを組み立てる漫画キャラクターの遊び心ある画像

  • LLM は専用の GPU ハードウェアを必要とする場合があります。

  • スケーリング戦略:

    1. 水平: さらに端末を追加
    2. 垂直: 1台のマシンをブーストします

  • トラフィック向けに水平、信頼性と速度向けに垂直

LLMOps の概念

練習しましょう！

LLMOps の概念

Preparing Video For Download...