RAG กับ Fine-tuning

แนวคิด LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

วงจรชีวิต LLM: RAG กับ Fine-tuning

ภาพรวมของวงจรชีวิตแอปพลิเคชัน LLM

การ์ตูนใช้กล้วยชาร์จแท็บเล็ต

ผสานความสามารถในการให้เหตุผลของ LLM กับความรู้จากภายนอก
ทำงาน 3 ขั้นตอนต่อเนื่องกัน:
1. Retrieve ดึงเอกสารที่เกี่ยวข้อง
2. Augment เพิ่มตัวอย่างลงใน prompt
3. Generate สร้างผลลัพธ์
มักนำไปใช้ร่วมกับ vector database

Retrieve:
- แปลง input เป็น embedding
- ค้นหาใน vector database
- ดึงเอกสารที่ใกล้เคียงที่สุด

ขั้นตอน Retrieve

Retrieve:
- สร้าง embedding จาก input
- ค้นหาใน vector database
- ดึงเอกสารที่ใกล้เคียงที่สุด
Augment:
- รวม input กับเอกสารเพื่อสร้าง prompt สุดท้าย

ขั้นตอน Augment

Retrieve:
- สร้าง embedding จาก input
- ค้นหาใน vector database
- ดึงเอกสารที่ใกล้เคียงที่สุด
Augment:
- รวม input กับเอกสาร top-k และสร้าง augmented prompt
Generate:
- ใช้ prompt สร้างผลลัพธ์

มีตัวเลือกการพัฒนาและโมเดล embedding หลายแบบ ทดลองและทดสอบ!

ขั้นตอน Generate

Supervised fine-tuning (transfer learning)

ประเภทข้อมูลที่ต้องการ 📂:

Reinforcement Learning from Human Feedback (RLHF)

ประเภทข้อมูลที่ต้องการ 📂:

แนวทาง 🔍:

แนวทาง 🔍:

การ์ตูนใช้กล้วยชาร์จแท็บเล็ต

ใช้เมื่อต้องการเชี่ยวชาญโดเมนใหม่
✅ ควบคุมได้เต็มที่และไม่ต้องการ component เพิ่ม
❌ ต้องการข้อมูลที่มี label และความรู้เฉพาะทาง, อาจขยาย bias, มีปัญหา catastrophic forgetting

วงจรการพัฒนาที่เพิ่มขั้นตอนการพัฒนา chain และ agent

วงจรการพัฒนาที่เพิ่มขั้นตอน RAG

วงจรการพัฒนาที่เพิ่มขั้นตอน fine-tuning

แนวคิด LLMOps