成本管理

LLMOps 概念

Max Knobbout, PhD

Applied Scientist, Uber

LLM 生命周期：成本管理

成本管理

 

• 关注模型成本
• 成本可能因托管或使用而上升
  • 自托管模型：成本来自托管
  • 外部托管模型：成本来自使用

拆解 LLM 成本

自托管（开源）

• 云端：
  • 服务器运行时长
• 本地部署：
  • 硬件成本
  • 维护与电力

外部托管（专有）

• 专有：
  • 调用次数
  • 每次调用的 token 数

策略 1：选择合适的模型

 

 

 

• 选用能完成任务的最具性价比模型
• 使用多个更小的任务型模型
• 自托管时考虑模型瘦身技术

策略 2：优化提示

 

 

 

• 使用自动提示压缩
• 内容精简：
  • 优化"聊天记忆"管理
  • 优化 RAG 以返回更少结果

策略 3：优化调用数量

 

 

 

• 使用批处理
• 使用响应缓存（如适用）
• 优化并限制代理调用
• 设置配额与速率限制
• 评估不需要 LLM 的任务

成本指标与预测

 

• 需重点跟踪：
  • 自托管：按机器按时间的成本
  • 外部托管：按会话的成本
• 了解用户规模增长及相应成本扩展

Passons à la pratique !

LLMOps 概念