RAG 与微调

LLMOps 概念

Max Knobbout, PhD

Applied Scientist, Uber

LLM 生命周期：RAG 与微调

检索增强生成（RAG）

 

• 将 LLM 推理与外部知识结合。

• 三步链：

  1. 检索 相关文档
  2. 用示例增强提示
  3. 生成 输出

• 常用向量数据库实现。

含向量数据库的 RAG 链

1. 检索：
   • 将输入转换为嵌入
   • 搜索向量数据库
   • 取回最相似文档

含向量数据库的 RAG 链

1. 检索：
   • 从输入生成向量嵌入
   • 搜索向量数据库
   • 取回最相似文档
2. 增强：
   • 将输入与文档合并，生成最终提示

含向量数据库的 RAG 链

1. 检索：
   • 从输入生成向量嵌入
   • 搜索向量数据库
   • 取回最相似文档
2. 增强：
   • 将输入与前 k 个文档合并，生成增强提示
3. 生成：
   • 用提示生成输出

实现和嵌入模型选择众多。请充分实验与测试！

微调

 

 

 

• 调整 LLM 的权重
• 扩展到特定任务与领域：
  • 不同语言
  • 专业领域

微调

监督微调（迁移学习）

所需数据 📂：

• 示范数据（输入及期望输出）

基于人类反馈的强化学习（RLHF）

所需数据 📂：

• 排名或质量分（来自点赞/点踩）

方法 🔍：

• 重新训练模型的部分或全部

方法 🔍：

• 训练额外的奖励模型
• 优化原始 LLM 以最大化该奖励

选择 RAG 还是微调

RAG

• 在需要纳入事实知识时使用
• ✅ 保持 LLM 能力，易实现，始终最新
• ❌ 增加组件，需精心工程化

微调

• 在需要专攻新领域时使用
• ✅ 完全可控，无额外组件
• ❌ 需标注数据与专业知识，可能放大偏差，易灾难性遗忘

开发周期

开发周期

开发周期

Vamos praticar!

LLMOps 概念