RAG và fine-tuning

Các khái niệm về LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Vòng đời LLM: RAG và fine-tuning

Tổng quan các giai đoạn vòng đời ứng dụng LLM

Hình vui: dùng quả chuối để cấp nguồn cho máy tính bảng

Kết hợp khả năng suy luận của LLM với tri thức ngoài.
Ba bước trong chuỗi:
1. Retrieve tài liệu liên quan
2. Augment prompt bằng ví dụ
3. Generate đầu ra
Thường dùng vector database để triển khai.

Retrieve:
- Chuyển đầu vào thành embedding
- Tìm trong vector database
- Lấy tài liệu tương tự nhất

Chuỗi Retrieve

Retrieve:
- Tạo embedding từ đầu vào
- Tìm trong vector database
- Lấy tài liệu tương tự nhất
Augment:
- Kết hợp đầu vào với tài liệu để tạo prompt cuối

Chuỗi Augment

Retrieve:
- Tạo embedding từ đầu vào
- Tìm trong vector database
- Lấy tài liệu tương tự nhất
Augment:
- Kết hợp đầu vào với top-k tài liệu và tạo prompt tăng cường
Generate:
- Dùng prompt để tạo đầu ra

Nhiều lựa chọn triển khai và mô hình embedding. Hãy thử nghiệm và đánh giá!

Chuỗi Generate

Fine-tuning có giám sát (transfer learning)

Loại dữ liệu cần 📂:

Học tăng cường từ phản hồi con người (RLHF)

Loại dữ liệu cần 📂:

Cách tiếp cận 🔍:

Cách tiếp cận 🔍:

Hình vui: dùng quả chuối để cấp nguồn cho máy tính bảng

Dùng khi cần chuyên biệt hóa lĩnh vực mới
✅ Kiểm soát đầy đủ, không cần thành phần bổ sung
❌ Cần dữ liệu gán nhãn & kiến thức chuyên môn, dễ khuếch đại thiên lệch, quên thảm họa

Chu trình phát triển có thêm hoạt động phát triển chain và agent

Chu trình phát triển có thêm hoạt động RAG

Chu trình phát triển có thêm hoạt động fine-tuning

Các khái niệm về LLMOps