测试

LLMOps 概念

Max Knobbout, PhD

Applied Scientist, Uber

LLM 生命周期：测试

为何需要测试？

 

 

 

• LLM 会出错
• 测试对评估应用是否可部署至关重要
• 我们将讨论如何评估"输出"

传统 ML 与 LLM 应用测试对比

传统监督式机器学习：

• 需要带标签的训练集与测试集
• 以准确性或与目标接近度为主的指标

LLM 应用：

• 需要测试数据，不一定要标注
• 用多种指标评估输出质量

步骤 1：构建测试集

 

 

 

• 测试集构建现在应已完成
• 测试数据需尽量贴近真实场景
• 多种工具可协助此过程

步骤 2：选择指标

如果有唯一正确答案…

• …使用机器学习指标。例如：
  • 准确率

步骤 2：选择指标

如果有参考答案…

• …使用统计方法。
• …使用基于模型的方法。例如：
  • LLM 评审

步骤 2：选择指标

如果可获得人工反馈…

• …让人工对文本打分。示例：
  • 评质量
  • 评相关性
  • 评连贯性
• …使用基于模型的方法。例如：
  • 用历史反馈预测评分
  • 让 LLM 评审检查是否采纳反馈

步骤 2：选择指标

如果没有人工反馈…

• …使用无监督指标。示例：
  • 连贯性
  • 流畅性
  • 多样性

步骤 3：定义可选次要指标

 

 

输出特征：

• 🎭 偏见
• ☠ 毒性
• 🤝 有用性

 

 

运行特征：

• ⏱ 延迟
• 💰 总成本
• 💻 内存占用

开发循环

开发循环

开发循环

开发循环

Ayo berlatih!

LLMOps 概念