Інтеграція завантажувачів документів

Розроблення застосунків LLM за допомогою LangChain

Jonathan Bennion

AI Engineer & LangChain Contributor

Retrieval Augmented Generation (RAG)

Використовуйте embeddings, щоб отримати потрібну інформацію й додати її до prompt

Типовий робочий процес RAG.

Кроки розробки RAG

Загальний процес RAG: завантажувач документів, розбивач документів і збереження та пошук.

Завантажувачі документів у LangChain

Класи для завантаження та налаштування документів для інтеграції в систему
Завантажувачі для поширених типів файлів: .pdf, .csv
Сторонні завантажувачі: S3, .ipynb, .wav

¹ https://python.langchain.com/docs/integrations/document_loaders

Завантажувач PDF-документів

Потрібно встановити пакет pypdf: pip install pypdf

from langchain_community.document_loaders import PyPDFLoader

loader = PyPDFLoader("path/to/file/attention_is_all_you_need.pdf")


data = loader.load()

print(data[0])

Document(page_content='Provided proper attribution is provided, Google hereby grants 
permission to\nreproduce the tables and figures in this paper solely for use in [...]

Завантажувач CSV-документів

from langchain_community.document_loaders.csv_loader import CSVLoader


loader = CSVLoader('fifa_countries_audience.csv')


data = loader.load()

print(data[0])

Document(page_content='country: United States\nconfederation: CONCACAF\npopulation_share: [...]

Завантажувач HTML-документів

Потрібно встановити пакет unstructured: pip install unstructured

from langchain_community.document_loaders import UnstructuredHTMLLoader


loader = UnstructuredHTMLLoader("white_house_executive_order_nov_2023.html")
data = loader.load()


print(data[0])

print(data[0].metadata)

page_content="To search this site, enter a search term\n\nSearch\n\nExecutive Order on the Safe, Secure,
and Trustworthy Development and Use of Artificial Intelligence\n\nHome\n\nBriefing Room\n\nPresidential
Actions\n\nBy the authority vested in me as President by the Constitution and the laws of the United
States of America, it is hereby ordered as follows: ..."


{'source': 'white_house_executive_order_nov_2023.html'}

Давайте потренуємось!

Розроблення застосунків LLM за допомогою LangChain