LangChain ile RAG için Belgeleri Yükleme

LangChain ile Retrieval Augmented Generation (RAG)

Meri Nova

Machine Learning Engineer

Eğitmeninizle tanışın...

 

Meri Nova

 

  • Break Into Data kurucusu
  • Makine Öğrenimi Mühendisi
  • LinkedIn ve YouTube’da içerik üreticisi

Meri’nin fotoğrafı.

LangChain ile Retrieval Augmented Generation (RAG)

Retrieval Augmented Generation (RAG)

 

  • LLM sınırlaması: bilgi kısıtları

 

→ RAG: LLM’lerle harici veriyi bütünleştirme

Bir kişinin, kitaplar şeklinde LLM’ye daha fazla bilgi verdiği bir sahne.

1 DALL·E 3 ile oluşturuldu
LangChain ile Retrieval Augmented Generation (RAG)

Standart RAG iş akışı

Tek bir kullanıcı.

LangChain ile Retrieval Augmented Generation (RAG)

Standart RAG iş akışı

Bir kullanıcı sorgusu bir vektör veritabanına gönderiliyor.

LangChain ile Retrieval Augmented Generation (RAG)

Standart RAG iş akışı

Vektör veritabanından ilgili belgeler getiriliyor.

LangChain ile Retrieval Augmented Generation (RAG)

Standart RAG iş akışı

Getirilen belgeler model istemine eklenir.

LangChain ile Retrieval Augmented Generation (RAG)

Standart RAG iş akışı

İstem LLM’ye gönderilir ve çıktı kullanıcıya döndürülür.

LangChain ile Retrieval Augmented Generation (RAG)

Getirme için verileri hazırlama

Belgeler yükleniyor.

LangChain ile Retrieval Augmented Generation (RAG)

Getirme için verileri hazırlama

Belgeler bölünüyor.

LangChain ile Retrieval Augmented Generation (RAG)

Getirme için verileri hazırlama

Belge parçaları gömülüyor.

LangChain ile Retrieval Augmented Generation (RAG)

Getirme için verileri hazırlama

Belge parçaları depolanıyor.

LangChain ile Retrieval Augmented Generation (RAG)

Belge yükleyiciler

 

  • Belgeleri yapay zekâ sistemleriyle bütünleştirin
  • Yaygın dosya biçimleri için destek
  • Üçüncü taraf belge yükleyiciler

 

  • CSVLoader
  • PyPDFLoader
  • UnstructuredHTMLLoader

Belgeler yükleniyor.

LangChain ile Retrieval Augmented Generation (RAG)

CSV dosyalarını yükleme

from langchain_community.document_loaders.csv_loader import CSVLoader

csv_loader = CSVLoader(file_path='path/to/your/file.csv')

documents = csv_loader.load()
print(documents)

[Document(page_content='Team: Nationals\n"Payroll (millions)": 81.34\n"Wins": 98',
          metadata={'source': 'path/to/your/file.csv', 'row': 0}),
 Document(page_content='Team: Reds\n"Payroll (millions)": 82.20\n"Wins": 97',
          metadata={'source': 'path/to/your/file.csv', 'row': 1}),
 Document(page_content='Team: Yankees\n"Payroll (millions)": 197.96\n"Wins": 95',
          metadata={'source': 'path/to/your/file.csv', 'row': 2})]
LangChain ile Retrieval Augmented Generation (RAG)

PDF dosyalarını yükleme

from langchain_community.document_loaders import PyPDFLoader

pdf_loader = PyPDFLoader('rag_paper.pdf')
documents = pdf_loader.load()
print(documents)

[Document(page_content='Retrieval-Augmented Generation for\nKnowledge-Intensive...',
          metadata={'source': 'Rag Paper.pdf', 'page': 0})]
LangChain ile Retrieval Augmented Generation (RAG)

HTML dosyalarını yükleme

from langchain_community.document_loaders import UnstructuredHTMLLoader

html_loader = UnstructuredHTMLLoader(file_path='path/to/your/file.html')

documents = html_loader.load()
first_document = documents[0]


print("Content:", first_document.page_content)
print("Metadata:", first_document.metadata)

Content: Welcome to Our Website
Metadata: {'source': 'path/to/your/file.html', 'section': 0}
LangChain ile Retrieval Augmented Generation (RAG)

Haydi pratik yapalım!

LangChain ile Retrieval Augmented Generation (RAG)

Preparing Video For Download...