コスト管理

LLMOpsの概念

Max Knobbout, PhD

Applied Scientist, Uber

LLMライフサイクル：コスト管理

コスト管理

 

• モデルコストに焦点を当てる
• ホスティングや利用状況によってコストが増大する
  • セルフホストモデルはホスティングコストが発生する
  • 外部ホストモデルは利用量に応じてコストが発生する

LLMコストの内訳

セルフホスト（オープンソース）

• クラウド:
  • サーバーの稼働時間
• オンプレミス:
  • ハードウェアコスト
  • 保守・電力コスト

外部ホスト（プロプライエタリ）

• プロプライエタリ:
  • 呼び出し回数
  • 呼び出しあたりのトークン数

戦略1：適切なモデルの選択

 

 

 

• タスクを実行できる範囲で最もコスト効率の高いモデルを選択する
• 複数の小規模なタスク特化型モデルを活用する
• セルフホストの場合、モデルサイズ削減技術を検討する

戦略2：プロンプトの最適化

 

 

 

• 自動プロンプト圧縮を活用する
• コンテンツの削減:
  • 「チャットメモリ」管理を最適化する
  • RAGの返却件数を削減する

戦略3：呼び出し回数の最適化

 

 

 

• バッチ処理を活用する
• レスポンスのキャッシュを活用する（該当する場合）
• エージェント呼び出しを最適化・制限する
• クォータおよびレート制限を設定する
• LLMを必要としないタスクを検討する

コスト指標と予測

 

• 追跡すべき指標:
  • セルフホストの場合：単位時間あたりのマシンコスト
  • 外部ホストの場合：セッションあたりのコスト
• ユーザー数の増加とそれに伴うコストのスケーリングを把握する

練習しましょう！

LLMOpsの概念