Încărcarea documentelor pentru RAG cu LangChain

Retrieval Augmented Generation (RAG) cu LangChain

Meri Nova

Machine Learning Engineer

Cunoașteți instructorul...

 

Meri Nova

 

  • Fondatoare la Break Into Data
  • Inginer de învățare automată
  • Creator de conținut pe LinkedIn și YouTube

Fotografia lui Meri.

Retrieval Augmented Generation (RAG) cu LangChain

Retrieval Augmented Generation (RAG)

 

  • Limitare LLM: constrângeri de cunoaștere

 

→ RAG: Integrarea datelor externe cu LLM-urile

O persoană oferind unui LLM mai multe informații sub formă de cărți.

1 Generated with DALL·E 3
Retrieval Augmented Generation (RAG) cu LangChain

Fluxul standard RAG

Un singur utilizator.

Retrieval Augmented Generation (RAG) cu LangChain

Fluxul standard RAG

O interogare de utilizator trimisă către o bază de date vectorială.

Retrieval Augmented Generation (RAG) cu LangChain

Fluxul standard RAG

Documente relevante recuperate din baza de date vectorială.

Retrieval Augmented Generation (RAG) cu LangChain

Fluxul standard RAG

Documentele recuperate sunt adăugate în promptul modelului.

Retrieval Augmented Generation (RAG) cu LangChain

Fluxul standard RAG

Promptul este trimis la LLM, iar răspunsul este returnat utilizatorului.

Retrieval Augmented Generation (RAG) cu LangChain

Pregătirea datelor pentru recuperare

Documente în curs de încărcare.

Retrieval Augmented Generation (RAG) cu LangChain

Pregătirea datelor pentru recuperare

Documente în curs de împărțire.

Retrieval Augmented Generation (RAG) cu LangChain

Pregătirea datelor pentru recuperare

Fragmentele de document sunt vectorizate.

Retrieval Augmented Generation (RAG) cu LangChain

Pregătirea datelor pentru recuperare

Fragmentele de document sunt stocate.

Retrieval Augmented Generation (RAG) cu LangChain

Încărcătoare de documente

 

  • Integrarea documentelor cu sisteme AI
  • Suport pentru multe formate de fișiere comune
  • Încărcătoare de documente terțe

 

  • CSVLoader
  • PyPDFLoader
  • UnstructuredHTMLLoader

Documente în curs de încărcare.

Retrieval Augmented Generation (RAG) cu LangChain

Încărcarea fișierelor CSV

from langchain_community.document_loaders.csv_loader import CSVLoader

csv_loader = CSVLoader(file_path='path/to/your/file.csv')

documents = csv_loader.load()
print(documents)

[Document(page_content='Team: Nationals\n"Payroll (millions)": 81.34\n"Wins": 98',
          metadata={'source': 'path/to/your/file.csv', 'row': 0}),
 Document(page_content='Team: Reds\n"Payroll (millions)": 82.20\n"Wins": 97',
          metadata={'source': 'path/to/your/file.csv', 'row': 1}),
 Document(page_content='Team: Yankees\n"Payroll (millions)": 197.96\n"Wins": 95',
          metadata={'source': 'path/to/your/file.csv', 'row': 2})]
Retrieval Augmented Generation (RAG) cu LangChain

Încărcarea fișierelor PDF

from langchain_community.document_loaders import PyPDFLoader

pdf_loader = PyPDFLoader('rag_paper.pdf')
documents = pdf_loader.load()
print(documents)

[Document(page_content='Retrieval-Augmented Generation for\nKnowledge-Intensive...',
          metadata={'source': 'Rag Paper.pdf', 'page': 0})]
Retrieval Augmented Generation (RAG) cu LangChain

Încărcarea fișierelor HTML

from langchain_community.document_loaders import UnstructuredHTMLLoader

html_loader = UnstructuredHTMLLoader(file_path='path/to/your/file.html')

documents = html_loader.load()
first_document = documents[0]


print("Content:", first_document.page_content)
print("Metadata:", first_document.metadata)

Content: Welcome to Our Website
Metadata: {'source': 'path/to/your/file.html', 'section': 0}
Retrieval Augmented Generation (RAG) cu LangChain

Să exersăm!

Retrieval Augmented Generation (RAG) cu LangChain

Preparing Video For Download...