वेक्टर से ग्राफ तक

LangChain के साथ Retrieval Augmented Generation (RAG)

Meri Nova

Machine Learning Engineer

Vector RAG की सीमाएँ

सामान्य वेक्टर स्टोर RAG वर्कफ़्लो.

"थीम्स और रिलेशनशिप्स" वाला एक बबल.

LangChain के साथ Retrieval Augmented Generation (RAG)

Vector RAG की सीमाएँ

सामान्य वेक्टर स्टोर RAG वर्कफ़्लो.

"स्केलेबिलिटी" वाला एक बबल.

LangChain के साथ Retrieval Augmented Generation (RAG)

Vector RAG की सीमाएँ

सामान्य वेक्टर स्टोर RAG वर्कफ़्लो.

"विविध डेटा का इंटीग्रेशन" वाला एक बबल.

LangChain के साथ Retrieval Augmented Generation (RAG)

ग्राफ डेटाबेस

लोगों, स्थानों और रुचियों के बीच कनेक्शन दिखाता एक ग्राफ.

LangChain के साथ Retrieval Augmented Generation (RAG)

ग्राफ डेटाबेस - नोड्स

लोगों, स्थानों और रुचियों के बीच कनेक्शन दिखाता एक ग्राफ.

LangChain के साथ Retrieval Augmented Generation (RAG)

ग्राफ डेटाबेस - एजेज

लोगों, स्थानों और रुचियों के बीच कनेक्शन दिखाता एक ग्राफ.

LangChain के साथ Retrieval Augmented Generation (RAG)

Neo4j ग्राफ डेटाबेस

 

Neo4j लोगो.

LangChain लोगो.

LangChain के साथ Retrieval Augmented Generation (RAG)

ग्राफ़िक्स से ग्राफ तक...

लोगों, स्थानों और रुचियों के बीच कनेक्शन दिखाता एक ग्राफ.

LangChain के साथ Retrieval Augmented Generation (RAG)

ग्राफ़िक्स से ग्राफ तक...

barcelona_graph.jpg

LangChain के साथ Retrieval Augmented Generation (RAG)

ग्राफ़िक्स से ग्राफ तक...

barcelona_graph.jpg

LangChain के साथ Retrieval Augmented Generation (RAG)

Wikipedia पेज लोड करना और चंक्स में बाँटना

from langchain_community.document_loaders import WikipediaLoader
from langchain_text_splitters import TokenTextSplitter

raw_documents = WikipediaLoader(query="large language model").load()

text_splitter = TokenTextSplitter(chunk_size=100, chunk_overlap=20) 
documents = text_splitter.split_documents(raw_documents[:3])  

print(documents[0])

page_content='A large language model (LLM) is a computational model capable of...' 
metadata={'title': 'Large language model',
          'summary': "A large language model (LLM) is...",
          'source': 'https://en.wikipedia.org/wiki/Large_language_model'}
LangChain के साथ Retrieval Augmented Generation (RAG)

टेक्स्ट से ग्राफ तक!

from langchain_openai import ChatOpenAI

from langchain_experimental.graph_transformers import LLMGraphTransformer


llm = ChatOpenAI(api_key="...", temperature=0, model_name="gpt-4o-mini")

llm_transformer = LLMGraphTransformer(llm=llm)


graph_documents = llm_transformer.convert_to_graph_documents(documents)
print(graph_documents)
LangChain के साथ Retrieval Augmented Generation (RAG)

टेक्स्ट से ग्राफ तक!

[GraphDocument(
    nodes=[
        Node(id='Llm', type='Computational model'),
        Node(id='Language Generation', type='Concept'),
        Node(id='Natural Language Processing Tasks', type='Concept'),
        Node(id='Llama Family', type='Computational model'),
        Node(id='Ibm', type='Organization'),
        ..., Node(id='Bert', type='Computational model')],
    relationships=[
        Relationship(source=Node(id='Llm', type='Computational model'),
                     target=Node(id='Language Generation', type='Concept'),
                     type='CAPABLE_OF'),
        ...])]
LangChain के साथ Retrieval Augmented Generation (RAG)

अभ्यास करते हैं!

LangChain के साथ Retrieval Augmented Generation (RAG)

Preparing Video For Download...