Intégrer des chargeurs de documents

Développer des applications LLM avec LangChain

Jonathan Bennion

AI Engineer & LangChain Contributor

Retrieval Augmented Generation (RAG)

  • Utiliser des embeddings pour repérer l'information pertinente à intégrer dans le prompt

Un flux de travail RAG typique.

Développer des applications LLM avec LangChain

Étapes de développement RAG

Flux RAG général : un chargeur, un découpeur de documents, et les étapes d'entreposage et de repérage.

Développer des applications LLM avec LangChain

Chargeurs de documents LangChain

  • Classes pour charger et configurer des documents en vue de l'intégration au système
  • Chargeurs pour types courants : .pdf, .csv
  • Chargeurs tiers : S3, .ipynb, .wav

document-loader.jpg

1 https://python.langchain.com/docs/integrations/document_loaders
Développer des applications LLM avec LangChain

Chargeur de documents PDF

  • Nécessite l'installation du paquet pypdf : pip install pypdf
from langchain_community.document_loaders import PyPDFLoader

loader = PyPDFLoader("path/to/file/attention_is_all_you_need.pdf")


data = loader.load()

print(data[0])

Document(page_content='Provided proper attribution is provided, Google hereby grants 
permission to\nreproduce the tables and figures in this paper solely for use in [...]
Développer des applications LLM avec LangChain

Chargeur de documents CSV

from langchain_community.document_loaders.csv_loader import CSVLoader


loader = CSVLoader('fifa_countries_audience.csv')


data = loader.load()

print(data[0])

Document(page_content='country: United States\nconfederation: CONCACAF\npopulation_share: [...]
Développer des applications LLM avec LangChain

Chargeur de documents HTML

  • Nécessite l'installation du paquet unstructured : pip install unstructured
from langchain_community.document_loaders import UnstructuredHTMLLoader


loader = UnstructuredHTMLLoader("white_house_executive_order_nov_2023.html")
data = loader.load()


print(data[0])

print(data[0].metadata)

page_content="To search this site, enter a search term\n\nSearch\n\nExecutive Order on the Safe, Secure,
and Trustworthy Development and Use of Artificial Intelligence\n\nHome\n\nBriefing Room\n\nPresidential
Actions\n\nBy the authority vested in me as President by the Constitution and the laws of the United
States of America, it is hereby ordered as follows: ..."


{'source': 'white_house_executive_order_nov_2023.html'}
Développer des applications LLM avec LangChain

Passons à la pratique !

Développer des applications LLM avec LangChain

Preparing Video For Download...