Ôn tập về RAG

AI Agents với Hugging Face smolagents

Adel Nehme

VP of AI Curriculum, DataCamp

Ví dụ: Trợ lý nấu ăn thông minh

Cần truy cập kiến thức ẩm thực
Thông tin rải rác trong công thức, hướng dẫn và nguồn lập kế hoạch
Phải tìm và trích xuất đúng điểm cốt lõi

RAG (Retrieval Augmented Generation) là gì?

RAG = Kết hợp truy xuất thông tin với sinh LLM

Quy trình RAG

Tải và chia nhỏ tài liệu

from langchain_community.document_loaders import PyPDFDirectoryLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter

# Load documentation from directory
loader = PyPDFDirectoryLoader("cooking_docs", mode="single")
documents = loader.load()

# Split into chunks
splitter = RecursiveCharacterTextSplitter(
    chunk_size=1000,
    chunk_overlap=200
)
chunks = splitter.split_documents(documents)

Tạo Vector Store

from langchain_huggingface import HuggingFaceEndpointEmbeddings
from langchain_community.vectorstores import FAISS

# Create embeddings and vector store
embedder = HuggingFaceEndpointEmbeddings(
    model="BAAI/bge-base-en-v1.5",
    task="feature-extraction",
)
vector_store = FAISS.from_documents(chunks, embedder)

Truy vấn Vector Store

query = "How do I cook salmon with herbs?"

# Similarity search
relevant_docs = vector_store.similarity_search(query, k=3)

# Create a context string
context = "\n\n".join(doc.page_content for doc in relevant_docs)

Truy vấn: Tôi nấu cá hồi với thảo mộc như thế nào?

2 đoạn trích xuất hàng đầu (khớp ngữ nghĩa):

[1] Cơ bản chuẩn bị cá hồi (tr. 2) Thấm khô cá để tạo màu nâu. Nêm muối, tiêu, và thì là hoặc mùi tây tươi. Để phi-lê nghỉ 10 phút cho muối thấm. Đưa về nhiệt độ phòng để chín đều...

[2] Nướng cá hồi trong lò (tr. 5) Làm nóng lò 200°C (392°F). Đặt phi-lê trên khay lót giấy nến, phủ lát chanh và bơ thảo mộc (thì là/mùi tây). Nướng 10–12 phút đến khi vừa đục và tơi; nghỉ 2 phút trước khi dùng...

Hạn chế của quy trình RAG truyền thống

Làm sao lên kế hoạch bữa ăn 1 tuần dưới $50 mà vẫn đủ dinh dưỡng?

Câu trả lời rải rác trong nhiều tài liệu (ngân sách, dinh dưỡng, kỹ thuật, công thức).

Ayo berlatih!

AI Agents với Hugging Face smolagents