コスト管理

LLMOps の概念

Max Knobbout, PhD

Applied Scientist, Uber

LLMライフサイクル: コスト管理

コスト管理

• モデルコストに注目
• ホスティングや使用状況に応じてコストが上がることがあります
  • 自己ホスト型モデルでは、ホスティングによりコストが発生します
  • 外部ホスト型モデルでは、コストは使用量に基づきます

LLMコストの内訳

セルフホスト型（オープンソース）

• クラウド:
  • サーバーが稼働し続ける期間
• オンプレミス:
  • ハードウェアコスト
  • メンテナンスと電気

外部ホスト（独自）

• 独自仕様:
  • 呼び出し回数
  • 1回の呼び出しあたりのトークン数

戦略1: 適切なモデルを選択

• 最も費用対効果の高い、なおかつタスクを達成できるモデルを使用する
• 複数の小さなタスク特化型モデル{{2}}を使用する
• 自己ホスティングでは、モデルサイズを削減する手法{{3}}を検討してください

戦略 2: プロンプトを最適化

• 自動プロンプト圧縮を使用する
• コンテンツ削減:
  • 「チャットメモリ」の管理を最適化
  • RAGを最適化して、返す検索結果を減らす

戦略 3: 呼び出し回数の最適化

• バッチ処理を使用
• レスポンスのキャッシュを使用する（該当する場合）
• エージェントの呼び出しを最適化（および制限）する
• クォータとレート制限を設定する
• LLMを必要としないタスクについて検討する

コスト指標と予測

• 重要な追跡事項:
  • セルフホスト型では、マシンごとの時間単位あたりのコスト
  • 外部でホストされている場合、セッションあたりのコスト
• ユーザーベースがどのように成長し、それに伴ってコストがどのように増加するかを理解する

練習しましょう！

LLMOps の概念