Penyegaran RAG

Agen AI dengan Hugging Face smolagents

Adel Nehme

VP of AI Curriculum, DataCamp

Contoh: Asisten Memasak Pintar

Membutuhkan akses ke pengetahuan kuliner
Info tersebar di resep, panduan, dan sumber perencanaan
Harus mencari dan mengekstrak detail yang paling relevan

Apa itu Retrieval Augmented Generation (RAG)?

RAG = Menggabungkan pengambilan informasi dengan generasi LLM

Alur Kerja RAG

Memuat dan Membagi Dokumen

from langchain_community.document_loaders import PyPDFDirectoryLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter

# Muat dokumentasi dari direktori
loader = PyPDFDirectoryLoader("cooking_docs", mode="single")
documents = loader.load()

# Bagi menjadi potongan
splitter = RecursiveCharacterTextSplitter(
    chunk_size=1000,
    chunk_overlap=200
)
chunks = splitter.split_documents(documents)

Membuat Penyimpanan Vektor

from langchain_huggingface import HuggingFaceEndpointEmbeddings
from langchain_community.vectorstores import FAISS

# Buat embeddings dan penyimpanan vektor
embedder = HuggingFaceEndpointEmbeddings(
    model="BAAI/bge-base-en-v1.5",
    task="feature-extraction",
)
vector_store = FAISS.from_documents(chunks, embedder)

Mengajukan Pertanyaan ke Penyimpanan Vektor

query = "How do I cook salmon with herbs?"

# Pencarian kesamaan
relevant_docs = vector_store.similarity_search(query, k=3)

# Buat string konteks
context = "\n\n".join(doc.page_content for doc in relevant_docs)

Pertanyaan: Bagaimana cara memasak salmon dengan rempah?

2 potongan teratas yang ditemukan (cocok secara semantik):

[1] Dasar-dasar persiapan salmon (hlm. 2) Keringkan salmon agar kecokelatan. Bumbui dengan garam, merica, dan dill atau peterseli segar. Biarkan fillet selama 10 menit agar garam meresap. Untuk memasak merata, biarkan pada suhu ruangan...

[2] Memanggang salmon di oven (hlm. 5) Panaskan oven hingga 200°C (392°F). Letakkan fillet di atas loyang berlapis kertas, tambahkan irisan lemon dan mentega rempah (dill/peterseli). Panggang 10 hingga 12 menit hingga tidak transparan dan mudah hancur; biarkan 2 menit sebelum disajikan...

Keterbatasan Pipeline RAG Tradisional

Bagaimana cara merencanakan seminggu makanan di bawah $50 sambil memenuhi semua kebutuhan nutrisi?

Jawaban tersebar di berbagai dokumen (anggaran, nutrisi, teknik, resep).

Ayo berlatih!

Agen AI dengan Hugging Face smolagents