デプロイメント

LLMOpsの概念

Max Knobbout, PhD

Applied Scientist, Uber

LLMライフサイクル：デプロイメント

デプロイメントへの移行

 

 

 

 

• 万能な解決策はありません！
• アプリケーションにはチェーン/エージェントロジック、ベクターデータベース、LLMなどが含まれる場合があります
• 各コンポーネントをデプロイし、連携させる必要があります

ステップ1：ホスティングの選択

• プライベート/パブリッククラウドまたはオンプレミスホスティング
• 多くのクラウドプロバイダーがLLMのホスティングとデプロイのソリューションを提供

ステップ2：API設計

• APIは異なるソフトウェア間の通信を可能にします
• 設計はスケーラビリティ・コスト・インフラ要件に影響します
• セキュリティは重要で、APIキーで管理します！

ステップ3：実行方法

• オプション:

  1. コンテナ
  2. サーバーレス関数
  3. クラウドマネージドサービス

• コスト・スケーラビリティ・効率性・柔軟性などの利点と欠点

CI/CD

継続的インテグレーション（CI）：

1. ソース: ソースコードの取得
2. ビルド: コードを含むコンテナイメージの作成
3. テスト: 統合テストの実施
4. 登録: レジストリへのコンテナの保存

継続的デプロイメント（CD）：

1. 取得: レジストリからコンテナを取得
2. テスト: デプロイテストの実施
3. デプロイ: 各環境へのコンテナのデプロイ:
   • ステージング
   • 本番環境

スケーリング

 

 

• LLMには専用のGPUハードウェアが必要な場合があります。

• スケーリング戦略:

  1. 水平スケーリング: マシン数を増やす
  2. 垂直スケーリング: 1台のマシンを強化する

• トラフィック対策には水平、信頼性・速度向上には垂直

練習しましょう！

LLMOpsの概念