成本管理

LLMOps 概念

Max Knobbout, PhD

Applied Scientist, Uber

LLM 生命週期：成本管理

成本管理

 

• 重點在模型成本
• 成本可能因託管與／或使用量而攀升
  • 自行託管模型：成本來自託管
  • 外部託管模型：成本來自使用量

LLM 成本拆解

自行託管（開放原始碼）

• 雲端：
  • 伺服器運作時間長度
• 在地部署：
  • 硬體成本
  • 維護與電力

外部託管（專有）

• 專有：
  • 呼叫次數
  • 每次呼叫的 token 數

策略 1：選對模型

 

 

 

• 選能完成任務且最省成本的模型
• 使用多個較小的「特定任務」模型
• 自行託管時，考慮模型縮減技術

策略 2：最佳化提示

 

 

 

• 使用自動「提示壓縮」
• 內容精簡：
  • 最佳化「聊天記憶」管理
  • 最佳化 RAG 以回傳更少結果

策略 3：最佳化呼叫次數

 

 

 

• 使用「批次處理」
• 使用回應「快取」（若適用）
• 最佳化（並限制）代理呼叫
• 設定配額與速率限制
• 評估哪些任務其實不需要 LLM

成本指標與預測

 

• 需重點追蹤：
  • 「自行託管」：每台機器每時間單位的成本
  • 「外部託管」：每個工作階段的成本
• 瞭解使用者成長，並評估成本隨之擴張

一起來練習吧！

LLMOps 概念