Оновлення RAG

AI-агенти з Hugging Face smolagents

Adel Nehme

VP of AI Curriculum, DataCamp

Приклад: розумний кулінарний асистент

Потрібен доступ до кулінарних знань
Інформація розпорошена між рецептами, гайдами й ресурсами для планування
Треба шукати й витягати лише найрелевантніші деталі

Що таке Retrieval Augmented Generation (RAG)?

RAG = поєднання пошуку інформації з генерацією LLM

Робочий процес RAG

Завантаження й поділ документів

from langchain_community.document_loaders import PyPDFDirectoryLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter

# Load documentation from directory
loader = PyPDFDirectoryLoader("cooking_docs", mode="single")
documents = loader.load()

# Split into chunks
splitter = RecursiveCharacterTextSplitter(
    chunk_size=1000,
    chunk_overlap=200
)
chunks = splitter.split_documents(documents)

Створення векторного сховища

from langchain_huggingface import HuggingFaceEndpointEmbeddings
from langchain_community.vectorstores import FAISS

# Create embeddings and vector store
embedder = HuggingFaceEndpointEmbeddings(
    model="BAAI/bge-base-en-v1.5",
    task="feature-extraction",
)
vector_store = FAISS.from_documents(chunks, embedder)

Запити до векторного сховища

query = "How do I cook salmon with herbs?"

# Similarity search
relevant_docs = vector_store.similarity_search(query, k=3)

# Create a context string
context = "\n\n".join(doc.page_content for doc in relevant_docs)

Запит: How do I cook salmon with herbs?

Топ-2 отримані фрагменти (семантичні збіги):

[1] Основи підготовки лосося (с. 2) Промокніть лосося насухо для підрум'янення. Щедро приправте сіллю, перцем і свіжим кропом або петрушкою. Дайте філе постояти 10 хвилин, щоб сіль увійшла. Для рівномірного приготування доведіть до кімнатної температури...

[2] Запікання лосося в духовці (с. 5) Розігрійте духовку до 200°C (392°F). Викладіть філе на деко з пергаментом, зверху – скибочки лимона й вершкове масло з зеленню (кріп/петрушка). Запікайте 10–12 хвилин до ледь матового, шаруватого м'яса; дайте відпочити 2 хвилини перед подачею...

Обмеження традиційного конвеєра RAG

How do I plan a week of meals under $50 while meeting all nutritional requirements?

Відповідь розпорошена по документах (бюджет, харчування, техніки, рецепти).

Давайте потренуємось!

AI-агенти з Hugging Face smolagents