Ladda dokument för RAG med LangChain

Retrieval Augmented Generation (RAG) med LangChain

Meri Nova

Machine Learning Engineer

Din instruktör...

 

Meri Nova

 

  • Grundare av Break Into Data
  • Maskininlärningsingenjör
  • Innehållsskapare på LinkedIn och YouTube

Foto på Meri.

Retrieval Augmented Generation (RAG) med LangChain

Retrieval Augmented Generation (RAG)

 

  • LLM-begränsning: kunskapsbegränsningar

 

→ RAG: Integrerar externa data med LLM:er

En person som förser en LLM med mer information i form av böcker.

1 Genererad med DALL·E 3
Retrieval Augmented Generation (RAG) med LangChain

Det standard-RAG-arbetsflödet

En enskild användare.

Retrieval Augmented Generation (RAG) med LangChain

Det standard-RAG-arbetsflödet

En användarfråga som skickas till en vektordatabas.

Retrieval Augmented Generation (RAG) med LangChain

Det standard-RAG-arbetsflödet

Relevanta dokument hämtas från vektordatabasen.

Retrieval Augmented Generation (RAG) med LangChain

Det standard-RAG-arbetsflödet

De hämtade dokumenten läggs till i modellens prompt.

Retrieval Augmented Generation (RAG) med LangChain

Det standard-RAG-arbetsflödet

Prompten skickas till LLM:en och svaret returneras till användaren.

Retrieval Augmented Generation (RAG) med LangChain

Förbereda data för hämtning

Dokument som laddas in.

Retrieval Augmented Generation (RAG) med LangChain

Förbereda data för hämtning

Dokument som delas upp.

Retrieval Augmented Generation (RAG) med LangChain

Förbereda data för hämtning

Dokumentbitar bäddas in.

Retrieval Augmented Generation (RAG) med LangChain

Förbereda data för hämtning

Dokumentbitar lagras.

Retrieval Augmented Generation (RAG) med LangChain

Dokumentladdare

 

  • Integrera dokument med AI-system
  • Stöd för många vanliga filformat
  • Dokumentladdare från tredje part

 

  • CSVLoader
  • PyPDFLoader
  • UnstructuredHTMLLoader

Dokument som laddas in.

Retrieval Augmented Generation (RAG) med LangChain

Ladda CSV-filer

from langchain_community.document_loaders.csv_loader import CSVLoader

csv_loader = CSVLoader(file_path='path/to/your/file.csv')

documents = csv_loader.load()
print(documents)

[Document(page_content='Team: Nationals\n"Payroll (millions)": 81.34\n"Wins": 98',
          metadata={'source': 'path/to/your/file.csv', 'row': 0}),
 Document(page_content='Team: Reds\n"Payroll (millions)": 82.20\n"Wins": 97',
          metadata={'source': 'path/to/your/file.csv', 'row': 1}),
 Document(page_content='Team: Yankees\n"Payroll (millions)": 197.96\n"Wins": 95',
          metadata={'source': 'path/to/your/file.csv', 'row': 2})]
Retrieval Augmented Generation (RAG) med LangChain

Ladda PDF-filer

from langchain_community.document_loaders import PyPDFLoader

pdf_loader = PyPDFLoader('rag_paper.pdf')
documents = pdf_loader.load()
print(documents)

[Document(page_content='Retrieval-Augmented Generation for\nKnowledge-Intensive...',
          metadata={'source': 'Rag Paper.pdf', 'page': 0})]
Retrieval Augmented Generation (RAG) med LangChain

Ladda HTML-filer

from langchain_community.document_loaders import UnstructuredHTMLLoader

html_loader = UnstructuredHTMLLoader(file_path='path/to/your/file.html')

documents = html_loader.load()
first_document = documents[0]


print("Content:", first_document.page_content)
print("Metadata:", first_document.metadata)

Content: Welcome to Our Website
Metadata: {'source': 'path/to/your/file.html', 'section': 0}
Retrieval Augmented Generation (RAG) med LangChain

Nu kör vi en övning!

Retrieval Augmented Generation (RAG) med LangChain

Preparing Video For Download...