Vektörlerden grafiklere

LangChain ile Retrieval Augmented Generation (RAG)

Meri Nova

Machine Learning Engineer

Vektör RAG sınırlamaları

Tipik vektör deposu RAG iş akışı.

"temalar ve ilişkiler" içeren bir balon.

LangChain ile Retrieval Augmented Generation (RAG)

Vektör RAG sınırlamaları

Tipik vektör deposu RAG iş akışı.

"ölçeklenebilirlik" içeren bir balon.

LangChain ile Retrieval Augmented Generation (RAG)

Vektör RAG sınırlamaları

Tipik vektör deposu RAG iş akışı.

"çeşitli verileri entegre etme" içeren bir balon.

LangChain ile Retrieval Augmented Generation (RAG)

Graf veritabanları

Kişiler, yerler ve ilgi alanları arasındaki bağlantıları gösteren bir grafik.

LangChain ile Retrieval Augmented Generation (RAG)

Graf veritabanları - düğümler

Kişiler, yerler ve ilgi alanları arasındaki bağlantıları gösteren bir grafik.

LangChain ile Retrieval Augmented Generation (RAG)

Graf veritabanları - kenarlar

Kişiler, yerler ve ilgi alanları arasındaki bağlantıları gösteren bir grafik.

LangChain ile Retrieval Augmented Generation (RAG)

Neo4j graf veritabanları

 

Neo4j logosu.

LangChain logosu.

LangChain ile Retrieval Augmented Generation (RAG)

Grafiklerden graflara...

Kişiler, yerler ve ilgi alanları arasındaki bağlantıları gösteren bir grafik.

LangChain ile Retrieval Augmented Generation (RAG)

Grafiklerden graflara...

barcelona_graph.jpg

LangChain ile Retrieval Augmented Generation (RAG)

Grafiklerden graflara...

barcelona_graph.jpg

LangChain ile Retrieval Augmented Generation (RAG)

Wikipedia sayfalarını yükleme ve parçalara ayırma

from langchain_community.document_loaders import WikipediaLoader
from langchain_text_splitters import TokenTextSplitter

raw_documents = WikipediaLoader(query="large language model").load()

text_splitter = TokenTextSplitter(chunk_size=100, chunk_overlap=20) 
documents = text_splitter.split_documents(raw_documents[:3])  

print(documents[0])

page_content='A large language model (LLM) is a computational model capable of...' 
metadata={'title': 'Large language model',
          'summary': "A large language model (LLM) is...",
          'source': 'https://en.wikipedia.org/wiki/Large_language_model'}
LangChain ile Retrieval Augmented Generation (RAG)

Metinden graflara!

from langchain_openai import ChatOpenAI

from langchain_experimental.graph_transformers import LLMGraphTransformer


llm = ChatOpenAI(api_key="...", temperature=0, model_name="gpt-4o-mini")

llm_transformer = LLMGraphTransformer(llm=llm)


graph_documents = llm_transformer.convert_to_graph_documents(documents)
print(graph_documents)
LangChain ile Retrieval Augmented Generation (RAG)

Metinden graflara!

[GraphDocument(
    nodes=[
        Node(id='Llm', type='Computational model'),
        Node(id='Language Generation', type='Concept'),
        Node(id='Natural Language Processing Tasks', type='Concept'),
        Node(id='Llama Family', type='Computational model'),
        Node(id='Ibm', type='Organization'),
        ..., Node(id='Bert', type='Computational model')],
    relationships=[
        Relationship(source=Node(id='Llm', type='Computational model'),
                     target=Node(id='Language Generation', type='Concept'),
                     type='CAPABLE_OF'),
        ...])]
LangChain ile Retrieval Augmented Generation (RAG)

Ayo berlatih!

LangChain ile Retrieval Augmented Generation (RAG)

Preparing Video For Download...