Integrowanie programów ładujących dokumenty

Tworzenie aplikacji LLM z LangChain

Jonathan Bennion

AI Engineer & LangChain Contributor

Retrieval Augmented Generation (RAG)

Użyj embeddingów, aby pobierać odpowiednie informacje i integrować je z promptem

Typowy przepływ pracy RAG.

Etapy tworzenia RAG

Ogólny przepływ pracy RAG: program ładujący dokumenty, splitter dokumentów oraz proces przechowywania i wyszukiwania.

Programy ładujące dokumenty w LangChain

Klasy zaprojektowane do ładowania i konfigurowania dokumentów na potrzeby integracji z systemem
Programy ładujące dla popularnych formatów: .pdf, .csv
Programy ładujące firm trzecich: S3, .ipynb, .wav

¹ https://python.langchain.com/docs/integrations/document_loaders

Program ładujący dokumenty PDF

Wymaga instalacji pakietu pypdf: pip install pypdf

from langchain_community.document_loaders import PyPDFLoader

loader = PyPDFLoader("path/to/file/attention_is_all_you_need.pdf")


data = loader.load()

print(data[0])

Document(page_content='Provided proper attribution is provided, Google hereby grants 
permission to\nreproduce the tables and figures in this paper solely for use in [...]

Program ładujący dokumenty CSV

from langchain_community.document_loaders.csv_loader import CSVLoader


loader = CSVLoader('fifa_countries_audience.csv')


data = loader.load()

print(data[0])

Document(page_content='country: United States\nconfederation: CONCACAF\npopulation_share: [...]

Program ładujący dokumenty HTML

Wymaga instalacji pakietu unstructured: pip install unstructured

from langchain_community.document_loaders import UnstructuredHTMLLoader


loader = UnstructuredHTMLLoader("white_house_executive_order_nov_2023.html")
data = loader.load()


print(data[0])

print(data[0].metadata)

page_content="To search this site, enter a search term\n\nSearch\n\nExecutive Order on the Safe, Secure,
and Trustworthy Development and Use of Artificial Intelligence\n\nHome\n\nBriefing Room\n\nPresidential
Actions\n\nBy the authority vested in me as President by the Constitution and the laws of the United
States of America, it is hereby ordered as follows: ..."


{'source': 'white_house_executive_order_nov_2023.html'}

Czas na ćwiczenia!

Tworzenie aplikacji LLM z LangChain