Integrace načítačů dokumentů

Vývoj LLM aplikací s LangChain

Jonathan Bennion

AI Engineer & LangChain Contributor

Retrieval Augmented Generation (RAG)

  • Pomocí embeddingů načtěte relevantní informace a integrujte je do promptu

Typický RAG workflow.

Vývoj LLM aplikací s LangChain

Kroky vývoje RAG

Obecný RAG workflow: načítač dokumentů, splitter dokumentů a proces uložení a načítání.

Vývoj LLM aplikací s LangChain

Načítače dokumentů v LangChain

  • Třídy navržené pro načítání a konfiguraci dokumentů pro integraci do systému
  • Načítače pro běžné formáty souborů: .pdf, .csv
  • Načítače třetích stran: S3, .ipynb, .wav

document-loader.jpg

1 https://python.langchain.com/docs/integrations/document_loaders
Vývoj LLM aplikací s LangChain

Načítač dokumentů PDF

  • Vyžaduje instalaci balíčku pypdf: pip install pypdf
from langchain_community.document_loaders import PyPDFLoader

loader = PyPDFLoader("path/to/file/attention_is_all_you_need.pdf")


data = loader.load()

print(data[0])

Document(page_content='Provided proper attribution is provided, Google hereby grants 
permission to\nreproduce the tables and figures in this paper solely for use in [...]
Vývoj LLM aplikací s LangChain

Načítač dokumentů CSV

from langchain_community.document_loaders.csv_loader import CSVLoader


loader = CSVLoader('fifa_countries_audience.csv')


data = loader.load()

print(data[0])

Document(page_content='country: United States\nconfederation: CONCACAF\npopulation_share: [...]
Vývoj LLM aplikací s LangChain

Načítač dokumentů HTML

  • Vyžaduje instalaci balíčku unstructured: pip install unstructured
from langchain_community.document_loaders import UnstructuredHTMLLoader


loader = UnstructuredHTMLLoader("white_house_executive_order_nov_2023.html")
data = loader.load()


print(data[0])

print(data[0].metadata)

page_content="To search this site, enter a search term\n\nSearch\n\nExecutive Order on the Safe, Secure,
and Trustworthy Development and Use of Artificial Intelligence\n\nHome\n\nBriefing Room\n\nPresidential
Actions\n\nBy the authority vested in me as President by the Constitution and the laws of the United
States of America, it is hereby ordered as follows: ..."


{'source': 'white_house_executive_order_nov_2023.html'}
Vývoj LLM aplikací s LangChain

Pojďme procvičovat!

Vývoj LLM aplikací s LangChain

Preparing Video For Download...