LangChain के साथ RAG के लिए डॉक्युमेंट लोड करना

LangChain के साथ Retrieval Augmented Generation (RAG)

Meri Nova

Machine Learning Engineer

अपने इंस्ट्रक्टर से मिलिए...

 

मेरी नोवा

 

  • Break Into Data की संस्थापक
  • Machine Learning इंजीनियर
  • Linkedin और YouTube पर कंटेंट क्रिएटर

मेरी का फोटो.

LangChain के साथ Retrieval Augmented Generation (RAG)

Retrieval Augmented Generation (RAG)

 

  • LLM की सीमा: knowledge constraints

 

→ RAG: LLMs के साथ बाहरी डेटा जोड़ना

एक व्यक्ति किताबों के रूप में LLM को और जानकारी दे रहा है.

1 Generated with DALL·E 3
LangChain के साथ Retrieval Augmented Generation (RAG)

मानक RAG वर्कफ़्लो

एकल यूज़र.

LangChain के साथ Retrieval Augmented Generation (RAG)

मानक RAG वर्कफ़्लो

यूज़र क्वेरी एक वेक्टर डेटाबेस को भेजी जा रही है.

LangChain के साथ Retrieval Augmented Generation (RAG)

मानक RAG वर्कफ़्लो

वेक्टर डेटाबेस से प्रासंगिक डॉक्युमेंट्स निकाले जा रहे हैं.

LangChain के साथ Retrieval Augmented Generation (RAG)

मानक RAG वर्कफ़्लो

रिकॉल किए गए डॉक्युमेंट्स मॉडल के प्रॉम्प्ट में जोड़े जाते हैं.

LangChain के साथ Retrieval Augmented Generation (RAG)

मानक RAG वर्कफ़्लो

प्रॉम्प्ट LLM को भेजा जाता है और आउटपुट यूज़र को लौटाया जाता है.

LangChain के साथ Retrieval Augmented Generation (RAG)

रिट्रीवल के लिए डेटा तैयार करना

डॉक्युमेंट्स लोड हो रहे हैं.

LangChain के साथ Retrieval Augmented Generation (RAG)

रिट्रीवल के लिए डेटा तैयार करना

डॉक्युमेंट्स स्प्लिट हो रहे हैं.

LangChain के साथ Retrieval Augmented Generation (RAG)

रिट्रीवल के लिए डेटा तैयार करना

डॉक्युमेंट चंक्स एम्बेड किए जा रहे हैं.

LangChain के साथ Retrieval Augmented Generation (RAG)

रिट्रीवल के लिए डेटा तैयार करना

डॉक्युमेंट चंक्स स्टोर किए जाते हैं.

LangChain के साथ Retrieval Augmented Generation (RAG)

डॉक्युमेंट लोडर्स

 

  • डॉक्युमेंट्स को AI सिस्टम्स से जोड़ें
  • कई आम फ़ाइल फ़ॉर्मैट्स का सपोर्ट
  • थर्ड-पार्टी डॉक्युमेंट लोडर्स

 

  • CSVLoader
  • PyPDFLoader
  • UnstructuredHTMLLoader

डॉक्युमेंट्स लोड हो रहे हैं.

LangChain के साथ Retrieval Augmented Generation (RAG)

CSV फ़ाइलें लोड करना

from langchain_community.document_loaders.csv_loader import CSVLoader

csv_loader = CSVLoader(file_path='path/to/your/file.csv')

documents = csv_loader.load()
print(documents)

[Document(page_content='Team: Nationals\n"Payroll (millions)": 81.34\n"Wins": 98',
          metadata={'source': 'path/to/your/file.csv', 'row': 0}),
 Document(page_content='Team: Reds\n"Payroll (millions)": 82.20\n"Wins": 97',
          metadata={'source': 'path/to/your/file.csv', 'row': 1}),
 Document(page_content='Team: Yankees\n"Payroll (millions)": 197.96\n"Wins": 95',
          metadata={'source': 'path/to/your/file.csv', 'row': 2})]
LangChain के साथ Retrieval Augmented Generation (RAG)

PDF फ़ाइलें लोड करना

from langchain_community.document_loaders import PyPDFLoader

pdf_loader = PyPDFLoader('rag_paper.pdf')
documents = pdf_loader.load()
print(documents)

[Document(page_content='Retrieval-Augmented Generation for\nKnowledge-Intensive...',
          metadata={'source': 'Rag Paper.pdf', 'page': 0})]
LangChain के साथ Retrieval Augmented Generation (RAG)

HTML फ़ाइलें लोड करना

from langchain_community.document_loaders import UnstructuredHTMLLoader

html_loader = UnstructuredHTMLLoader(file_path='path/to/your/file.html')

documents = html_loader.load()
first_document = documents[0]


print("Content:", first_document.page_content)
print("Metadata:", first_document.metadata)

Content: Welcome to Our Website
Metadata: {'source': 'path/to/your/file.html', 'section': 0}
LangChain के साथ Retrieval Augmented Generation (RAG)

अभ्यास करते हैं!

LangChain के साथ Retrieval Augmented Generation (RAG)

Preparing Video For Download...