Интеграция загрузчиков документов

Разработка LLM-приложений с помощью LangChain

Jonathan Bennion

AI Engineer & LangChain Contributor

Retrieval Augmented Generation (RAG)

  • Используйте эмбеддинги для извлечения релевантной информации и включения её в промпт

Типичный рабочий процесс RAG.

Разработка LLM-приложений с помощью LangChain

Этапы разработки RAG

Общий рабочий процесс RAG: загрузчик документов, разбивка документов, хранение и извлечение данных.

Разработка LLM-приложений с помощью LangChain

Загрузчики документов LangChain

  • Классы для загрузки и настройки документов при интеграции в систему
  • Загрузчики для распространённых форматов: .pdf, .csv
  • Сторонние загрузчики: S3, .ipynb, .wav

document-loader.jpg

1 https://python.langchain.com/docs/integrations/document_loaders
Разработка LLM-приложений с помощью LangChain

Загрузчик PDF-документов

  • Требуется установка пакета pypdf: pip install pypdf
from langchain_community.document_loaders import PyPDFLoader

loader = PyPDFLoader("path/to/file/attention_is_all_you_need.pdf")


data = loader.load()

print(data[0])

Document(page_content='Provided proper attribution is provided, Google hereby grants 
permission to\nreproduce the tables and figures in this paper solely for use in [...]
Разработка LLM-приложений с помощью LangChain

Загрузчик CSV-документов

from langchain_community.document_loaders.csv_loader import CSVLoader


loader = CSVLoader('fifa_countries_audience.csv')


data = loader.load()

print(data[0])

Document(page_content='country: United States\nconfederation: CONCACAF\npopulation_share: [...]
Разработка LLM-приложений с помощью LangChain

Загрузчик HTML-документов

  • Требуется установка пакета unstructured: pip install unstructured
from langchain_community.document_loaders import UnstructuredHTMLLoader


loader = UnstructuredHTMLLoader("white_house_executive_order_nov_2023.html")
data = loader.load()


print(data[0])

print(data[0].metadata)

page_content="To search this site, enter a search term\n\nSearch\n\nExecutive Order on the Safe, Secure,
and Trustworthy Development and Use of Artificial Intelligence\n\nHome\n\nBriefing Room\n\nPresidential
Actions\n\nBy the authority vested in me as President by the Constitution and the laws of the United
States of America, it is hereby ordered as follows: ..."


{'source': 'white_house_executive_order_nov_2023.html'}
Разработка LLM-приложений с помощью LangChain

Давайте потренируемся!

Разработка LLM-приложений с помощью LangChain

Preparing Video For Download...