Integrera dokumentladdare

Utveckla LLM-applikationer med LangChain

Jonathan Bennion

AI Engineer & LangChain Contributor

Retrieval Augmented Generation (RAG)

  • Använd embeddings för att hämta relevant information och integrera den i prompten

Ett typiskt RAG-arbetsflöde.

Utveckla LLM-applikationer med LangChain

RAG-utvecklingssteg

Det allmänna RAG-arbetsflödet: en dokumentladdare, en dokumentdelare samt lagrings- och hämtningsprocessen.

Utveckla LLM-applikationer med LangChain

LangChain-dokumentladdare

  • Klasser utformade för att ladda och konfigurera dokument för systemintegration
  • Dokumentladdare för vanliga filtyper: .pdf, .csv
  • Tredjepartsladdare: S3, .ipynb, .wav

document-loader.jpg

1 https://python.langchain.com/docs/integrations/document_loaders
Utveckla LLM-applikationer med LangChain

PDF-dokumentladdare

  • Kräver att paketet pypdf installeras: pip install pypdf
from langchain_community.document_loaders import PyPDFLoader

loader = PyPDFLoader("path/to/file/attention_is_all_you_need.pdf")


data = loader.load()

print(data[0])

Document(page_content='Provided proper attribution is provided, Google hereby grants 
permission to\nreproduce the tables and figures in this paper solely for use in [...]
Utveckla LLM-applikationer med LangChain

CSV-dokumentladdare

from langchain_community.document_loaders.csv_loader import CSVLoader


loader = CSVLoader('fifa_countries_audience.csv')


data = loader.load()

print(data[0])

Document(page_content='country: United States\nconfederation: CONCACAF\npopulation_share: [...]
Utveckla LLM-applikationer med LangChain

HTML-dokumentladdare

  • Kräver att paketet unstructured installeras: pip install unstructured
from langchain_community.document_loaders import UnstructuredHTMLLoader


loader = UnstructuredHTMLLoader("white_house_executive_order_nov_2023.html")
data = loader.load()


print(data[0])

print(data[0].metadata)

page_content="To search this site, enter a search term\n\nSearch\n\nExecutive Order on the Safe, Secure,
and Trustworthy Development and Use of Artificial Intelligence\n\nHome\n\nBriefing Room\n\nPresidential
Actions\n\nBy the authority vested in me as President by the Constitution and the laws of the United
States of America, it is hereby ordered as follows: ..."


{'source': 'white_house_executive_order_nov_2023.html'}
Utveckla LLM-applikationer med LangChain

Nu kör vi en övning!

Utveckla LLM-applikationer med LangChain

Preparing Video For Download...