División de datos externos para su recuperación

Desarrollo de aplicaciones LLM con LangChain

Jonathan Bennion

AI Engineer & LangChain Contributor

Pasos del desarrollo de RAG

Flujo de trabajo general de RAG: un cargador de documentos, un divisor de documentos y el proceso de almacenamiento y recuperación.

División de documentos: dividir un documento en fragmentos
Divide los documentos para que quepan en la ventana de contexto de LLM

Hablando de separar...

El primer párrafo de la introducción del artículo «Attention is All You Need» (La atención es todo lo que necesitas).

Línea 1:

Recurrent neural networks, long short-term memory [13] and gated recurrent [7] neural networks

Línea 2:

in particular, have been firmly established as state of the art approaches in sequence modeling and

¹ https://arxiv.org/abs/1706.03762

Superposición de fragmentos

El primer párrafo de la introducción del artículo «Attention is All You Need» se ha dividido en dos fragmentos que se superponen.

¿Cuál es la mejor estrategia para dividir documentos?

La palabra «contexto» dividida en letras individuales.

CharacterTextSplitter
RecursiveCharacterTextSplitter
Muchos otros

¹ Wikipedia Commons

quote = '''One machine can do the work of fifty ordinary humans.
No machine can do
the work of one extraordinary human.'''

len(quote)

chunk_size = 24
chunk_overlap = 3

¹ Elbert Hubbard

from langchain_text_splitters import CharacterTextSplitter


ct_splitter = CharacterTextSplitter(
    separator='.',
    chunk_size=chunk_size,
    chunk_overlap=chunk_overlap)


docs = ct_splitter.split_text(quote) 
print(docs)

print([len(doc) for doc in docs])

['One machine can do the work of fifty ordinary humans',
 'No machine can do the work of one extraordinary human']

[52, 53]

Divide en separadores: <chunk_size, pero puede que no siempre funcione

from langchain_text_splitters import RecursiveCharacterTextSplitter


rc_splitter = RecursiveCharacterTextSplitter(
    separators=["
", "
", " ", ""],
    chunk_size=chunk_size,
    chunk_overlap=chunk_overlap)


docs = rc_splitter.split_text(quote) 
print(docs)

RecursiveCharacterTextSplitter

separators=["\n\n", "\n", " ", ""]

['One machine can do the',
 'work of fifty ordinary',
 'humans.',
 'No machine can do the',
 'work of one',
 'extraordinary human.']

Intenta dividir por párrafos: "\n\n"
Intenta dividir por frases: "\n"
Intenta dividir por palabras: " "

RecursiveCharacterTextSplitter con HTML

from langchain_community.document_loaders import UnstructuredHTMLLoader 
from langchain_text_splitters import RecursiveCharacterTextSplitter


loader = UnstructuredHTMLLoader("white_house_executive_order_nov_2023.html")
data = loader.load()


rc_splitter = RecursiveCharacterTextSplitter(
    chunk_size=chunk_size,
    chunk_overlap=chunk_overlap,
    separators=['.'])


docs = rc_splitter.split_documents(data) 
print(docs[0])

Document(page_content="To search this site, enter a search term [...]

¡Vamos a practicar!

Desarrollo de aplicaciones LLM con LangChain