Integrarea încărcătoarelor de documente

Developing LLM Applications with LangChain

Jonathan Bennion

AI Engineer & LangChain Contributor

Retrieval Augmented Generation (RAG)

Utilizați embeddings pentru a recupera informații relevante și a le integra în prompt

Un flux de lucru RAG tipic.

Etapele dezvoltării RAG

Fluxul general RAG: un încărcător de documente, un splitter de documente și procesul de stocare și recuperare.

Încărcătoare de documente LangChain

Clase concepute pentru a încărca și configura documente pentru integrarea în sistem
Încărcătoare pentru tipuri comune de fișiere: .pdf, .csv
Încărcătoare terțe: S3, .ipynb, .wav

¹ https://python.langchain.com/docs/integrations/document_loaders

Încărcător de documente PDF

Necesită instalarea pachetului pypdf: pip install pypdf

from langchain_community.document_loaders import PyPDFLoader

loader = PyPDFLoader("path/to/file/attention_is_all_you_need.pdf")


data = loader.load()

print(data[0])

Document(page_content='Provided proper attribution is provided, Google hereby grants 
permission to\nreproduce the tables and figures in this paper solely for use in [...]

Încărcător de documente CSV

from langchain_community.document_loaders.csv_loader import CSVLoader


loader = CSVLoader('fifa_countries_audience.csv')


data = loader.load()

print(data[0])

Document(page_content='country: United States\nconfederation: CONCACAF\npopulation_share: [...]

Încărcător de documente HTML

Necesită instalarea pachetului unstructured: pip install unstructured

from langchain_community.document_loaders import UnstructuredHTMLLoader


loader = UnstructuredHTMLLoader("white_house_executive_order_nov_2023.html")
data = loader.load()


print(data[0])

print(data[0].metadata)

page_content="To search this site, enter a search term\n\nSearch\n\nExecutive Order on the Safe, Secure,
and Trustworthy Development and Use of Artificial Intelligence\n\nHome\n\nBriefing Room\n\nPresidential
Actions\n\nBy the authority vested in me as President by the Constitution and the laws of the United
States of America, it is hereby ordered as follows: ..."


{'source': 'white_house_executive_order_nov_2023.html'}

Să exersăm!

Developing LLM Applications with LangChain