RAG 與微調比較

LLMOps 概念

Max Knobbout, PhD

Applied Scientist, Uber

LLM 生命週期：RAG 與微調

檢索增強式生成（RAG）

 

• 將 LLM 的推理能力結合外部知識。

• 三步驟鏈：

  1. Retrieve 取回相關文件
  2. Augment 以範例擴充提示
  3. Generate 產生輸出

• 常用向量資料庫實作。

含向量資料庫的 RAG 鏈

1. Retrieve：
   • 將輸入轉為 embedding
   • 搜尋向量資料庫
   • 取回最相似文件

含向量資料庫的 RAG 鏈

1. Retrieve：
   • 從輸入產生 embedding
   • 搜尋向量資料庫
   • 取回最相似文件
2. Augment：
   • 將輸入與文件結合，建立最終提示

含向量資料庫的 RAG 鏈

1. Retrieve：
   • 從輸入產生 embedding
   • 搜尋向量資料庫
   • 取回最相似文件
2. Augment：
   • 將輸入與 top-k 文件結合，建立增強提示
3. Generate：
   • 使用提示產生輸出

實作與 embedding 模型選項眾多。多做實驗與測試！

微調（Fine-tuning）

 

 

 

• 調整 LLM 權重
• 擴展到特定任務與領域：
  • 不同語言
  • 專業領域

微調（Fine-tuning）

監督式微調（transfer learning）

所需資料類型 📂：

• 示範資料（輸入及期望輸出）

Reinforcement Learning from Human Feedback (RLHF)

所需資料類型 📂：

• 排名或品質分數（如按讚與倒讚取得）

方法 🔍：

• 重新訓練（部分）模型

方法 🔍：

• 訓練額外的獎勵模型
• 最佳化原始 LLM 以最大化該獎勵

選擇 RAG 或微調

RAG

• 需要納入事實知識時使用
• ✅ 保留 LLM 能力、易於實作、內容可隨時更新
• ❌ 增加額外元件，需謹慎工程設計

微調（Fine-tuning）

• 需要專精於新領域時使用
• ✅ 完整掌控且無額外元件
• ❌ 需標註資料與專業知識、可能放大偏誤、易發生災難性遺忘

開發週期

開發週期

開發週期

一起來練習吧！

LLMOps 概念