Belge yükleyicileri entegre etme

LangChain ile LLM Uygulamaları Geliştirme

Jonathan Bennion

AI Engineer & LangChain Contributor

Bilgi Getirmeli Üretim (RAG)

İlgili bilgiyi alma için gömlemeler kullanın ve isteğe entegre edin

Tipik bir RAG iş akışı.

RAG geliştirme adımları

Genel RAG iş akışı: bir belge yükleyici, bir belge bölücü ve depolama/geri getirme süreci.

LangChain belge yükleyicileri

Belgeleri sisteme yüklemek ve yapılandırmak için sınıflar
Yaygın türler için yükleyiciler: .pdf, .csv
Üçüncü taraf yükleyiciler: S3, .ipynb, .wav

¹ https://python.langchain.com/docs/integrations/document_loaders

PDF belge yükleyici

pypdf paketinin kurulumu gerekir: pip install pypdf {{6}}_

from langchain_community.document_loaders import PyPDFLoader

loader = PyPDFLoader("path/to/file/attention_is_all_you_need.pdf")


data = loader.load()

print(data[0])

Document(page_content='Provided proper attribution is provided, Google hereby grants 
permission to\nreproduce the tables and figures in this paper solely for use in [...]

CSV belge yükleyici

from langchain_community.document_loaders.csv_loader import CSVLoader


loader = CSVLoader('fifa_countries_audience.csv')


data = loader.load()

print(data[0])

Document(page_content='country: United States\nconfederation: CONCACAF\npopulation_share: [...]

HTML belge yükleyici

unstructured paketinin kurulumu gerekir: pip install unstructured

from langchain_community.document_loaders import UnstructuredHTMLLoader


loader = UnstructuredHTMLLoader("white_house_executive_order_nov_2023.html")
data = loader.load()


print(data[0])

print(data[0].metadata)

page_content="To search this site, enter a search term\n\nSearch\n\nExecutive Order on the Safe, Secure,
and Trustworthy Development and Use of Artificial Intelligence\n\nHome\n\nBriefing Room\n\nPresidential
Actions\n\nBy the authority vested in me as President by the Constitution and the laws of the United
States of America, it is hereby ordered as follows: ..."


{'source': 'white_house_executive_order_nov_2023.html'}

Hadi pratik yapalım!

LangChain ile LLM Uygulamaları Geliştirme