LLM 生命周期：监控与可观测性

LLMOps 概念

Max Knobbout, PhD

Applied Scientist, Uber

LLM 生命周期：监控与可观测性

监控与可观测性

 

 

• 监控：持续观测系统
• 可观测性：向外部揭示内部状态
• 可观测性数据源：
  1. 日志
  2. 指标
  3. 追踪

输入监控

• 监控输入以发现：
  • 变化
  • 错误
  • 恶意内容
• 数据漂移：输入数据分布随时间变化
• 应对数据漂移需要：
  • 监测数据分布
  • 定期更新模型

功能监控

• 示例：

  • 响应时间
  • 请求量
  • 停机时间
  • 错误率

• 针对 LLM 应用：

  • 链与代理执行
  • 系统资源（GPU）
  • 成本

输出监控

• 使用测试阶段定义的指标，例如：
  • 偏见
  • 毒性
  • 有用性
• 模型漂移：
  • 输入与输出关系发生变化
• 审查意味着主动干预

告警处理

 

 

 

 

• 问题发生时收到通知
• 制定清晰流程
• 可能设有服务级别协议（SLA）

让我们练习吧！

LLMOps 概念