Recapitulare RAG

Agenți AI cu Hugging Face smolagents

Adel Nehme

VP of AI Curriculum, DataCamp

Exemplu: Un asistent inteligent de gătit

Necesită acces la cunoștințe culinare
Informațiile sunt dispersate în rețete, ghiduri și resurse de planificare
Trebuie să caute și să extragă doar detaliile relevante

Ce este Retrieval Augmented Generation (RAG)?

RAG = Combinarea recuperării informațiilor cu generarea prin LLM

Fluxul de lucru RAG

Încărcarea și divizarea documentelor

from langchain_community.document_loaders import PyPDFDirectoryLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter

# Load documentation from directory
loader = PyPDFDirectoryLoader("cooking_docs", mode="single")
documents = loader.load()

# Split into chunks
splitter = RecursiveCharacterTextSplitter(
    chunk_size=1000,
    chunk_overlap=200
)
chunks = splitter.split_documents(documents)

Crearea unui vector store

from langchain_huggingface import HuggingFaceEndpointEmbeddings
from langchain_community.vectorstores import FAISS

# Create embeddings and vector store
embedder = HuggingFaceEndpointEmbeddings(
    model="BAAI/bge-base-en-v1.5",
    task="feature-extraction",
)
vector_store = FAISS.from_documents(chunks, embedder)

Interogarea vector store-ului

query = "How do I cook salmon with herbs?"

# Similarity search
relevant_docs = vector_store.similarity_search(query, k=3)

# Create a context string
context = "\n\n".join(doc.page_content for doc in relevant_docs)

Interogare: Cum gătesc somon cu ierburi aromatice?

Primele 2 fragmente recuperate (potriviri semantice):

[1] Pregătirea somonului (p. 2) Tamponați somonul pentru a asigura rumenirea. Condimentați generos cu sare, piper și mărar sau pătrunjel proaspăt. Lăsați fileurile să se odihnească 10 minute pentru ca sarea să pătrundă. Pentru o gătire uniformă, aduceți la temperatura camerei...

[2] Coacerea somonului la cuptor (p. 5) Preîncălziți cuptorul la 200°C (392°F). Așezați fileurile pe o tavă cu hârtie de copt, adăugați felii de lămâie și unt cu ierburi (mărar/pătrunjel). Coaceți 10-12 minute până devine opac și se sfărâmă; odihniți 2 minute înainte de servire...

Limitările pipeline-ului RAG tradițional

Cum planific o săptămână de mese sub 50 USD, respectând toate cerințele nutriționale?

Răspunsul este distribuit în mai multe documente (buget, nutriție, tehnici, rețete).

Să exersăm!

Agenți AI cu Hugging Face smolagents