Tải tài liệu cho RAG với LangChain

Retrieval Augmented Generation (RAG) với LangChain

Meri Nova

Machine Learning Engineer

Gặp giảng viên của bạn...

 

Meri Nova

 

  • Nhà sáng lập Break Into Data
  • Kỹ sư Machine Learning
  • Người sáng tạo nội dung trên Linkedin và YouTube

Ảnh Meri.

Retrieval Augmented Generation (RAG) với LangChain

Retrieval Augmented Generation (RAG)

 

  • Hạn chế của LLM: giới hạn kiến thức

 

→ RAG: Kết hợp dữ liệu bên ngoài với LLM

Một người đưa thêm thông tin cho LLM dưới dạng sách.

1 Generated with DALL·E 3
Retrieval Augmented Generation (RAG) với LangChain

Quy trình RAG tiêu chuẩn

Một người dùng.

Retrieval Augmented Generation (RAG) với LangChain

Quy trình RAG tiêu chuẩn

Truy vấn người dùng được gửi đến vector database.

Retrieval Augmented Generation (RAG) với LangChain

Quy trình RAG tiêu chuẩn

Các tài liệu liên quan được truy xuất từ vector database.

Retrieval Augmented Generation (RAG) với LangChain

Quy trình RAG tiêu chuẩn

Các tài liệu đã truy xuất được thêm vào prompt của mô hình.

Retrieval Augmented Generation (RAG) với LangChain

Quy trình RAG tiêu chuẩn

Prompt được gửi đến LLM và đầu ra trả về cho người dùng.

Retrieval Augmented Generation (RAG) với LangChain

Chuẩn bị dữ liệu để truy xuất

Đang tải tài liệu.

Retrieval Augmented Generation (RAG) với LangChain

Chuẩn bị dữ liệu để truy xuất

Đang tách tài liệu.

Retrieval Augmented Generation (RAG) với LangChain

Chuẩn bị dữ liệu để truy xuất

Nhúng các đoạn tài liệu.

Retrieval Augmented Generation (RAG) với LangChain

Chuẩn bị dữ liệu để truy xuất

Lưu trữ các đoạn tài liệu.

Retrieval Augmented Generation (RAG) với LangChain

Bộ tải tài liệu

 

  • Tích hợp tài liệu với hệ thống AI
  • Hỗ trợ nhiều định dạng tệp phổ biến
  • Bộ tải tài liệu bên thứ ba

 

  • CSVLoader
  • PyPDFLoader
  • UnstructuredHTMLLoader

Đang tải tài liệu.

Retrieval Augmented Generation (RAG) với LangChain

Tải tệp CSV

from langchain_community.document_loaders.csv_loader import CSVLoader

csv_loader = CSVLoader(file_path='path/to/your/file.csv')

documents = csv_loader.load()
print(documents)

[Document(page_content='Team: Nationals\n"Payroll (millions)": 81.34\n"Wins": 98',
          metadata={'source': 'path/to/your/file.csv', 'row': 0}),
 Document(page_content='Team: Reds\n"Payroll (millions)": 82.20\n"Wins": 97',
          metadata={'source': 'path/to/your/file.csv', 'row': 1}),
 Document(page_content='Team: Yankees\n"Payroll (millions)": 197.96\n"Wins": 95',
          metadata={'source': 'path/to/your/file.csv', 'row': 2})]
Retrieval Augmented Generation (RAG) với LangChain

Tải tệp PDF

from langchain_community.document_loaders import PyPDFLoader

pdf_loader = PyPDFLoader('rag_paper.pdf')
documents = pdf_loader.load()
print(documents)

[Document(page_content='Retrieval-Augmented Generation for\nKnowledge-Intensive...',
          metadata={'source': 'Rag Paper.pdf', 'page': 0})]
Retrieval Augmented Generation (RAG) với LangChain

Tải tệp HTML

from langchain_community.document_loaders import UnstructuredHTMLLoader

html_loader = UnstructuredHTMLLoader(file_path='path/to/your/file.html')

documents = html_loader.load()
first_document = documents[0]


print("Content:", first_document.page_content)
print("Metadata:", first_document.metadata)

Content: Welcome to Our Website
Metadata: {'source': 'path/to/your/file.html', 'section': 0}
Retrieval Augmented Generation (RAG) với LangChain

Cùng luyện tập nào!

Retrieval Augmented Generation (RAG) với LangChain

Preparing Video For Download...