Побудова ланцюга отримання в LCEL

Retrieval Augmented Generation (RAG) з LangChain

Meri Nova

Machine Learning Engineer

Підготовка даних для отримання

Збережені фрагменти документів.

Вступ до LCEL для RAG

Ввід користувача.

Вступ до LCEL для RAG

Ввід користувача входить у ланцюг через RunnablePassthrough і призначається до "question".

Вступ до LCEL для RAG

Ввід використовується для запиту до retriever і призначається до "context".

Вступ до LCEL для RAG

"context" і "question" вставляються в шаблон підказки.

Вступ до LCEL для RAG

Підказка подається до LLM (моделі) для генерації відповіді.

Вступ до LCEL для RAG

Вихід моделі передається парсеру.

Створення retriever

vector_store = Chroma.from_documents(
    documents=chunks, 
    embedding=embedding_model
)


retriever = vector_store.as_retriever(
    search_type="similarity",
    search_kwargs={"k": 2}
)

Створення шаблону підказки

from langchain_core.prompts import ChatPromptTemplate


prompt = ChatPromptTemplate.from_template("""
Use the following pieces of context to answer the question at the end.
If you don't know the answer, say that you don't know.
Context: {context}
Question: {question}
""")

llm = ChatOpenAI(model="gpt-4o-mini", api_key="...", temperature=0)

Побудова ланцюга отримання в LCEL

from langchain_core.runnables import RunnablePassthrough
from langchain_core.output_parsers import StrOutputParser


chain = (

    {"context": retriever, "question": RunnablePassthrough()}

    | prompt

    | llm

    | StrOutputParser()

)

Виклик ланцюга отримання

result = chain.invoke({"question": "What are the key findings or results presented in the paper?"})
print(result)

- Top Performance: RAG models set new records on open-domain question answering tasks...
- Better Generation: RAG models produce more specific, diverse, and factual language...
- Dynamic Knowledge Use: The non-parametric memory allows RAG models to access and ...

Давайте потренуємось!

Retrieval Augmented Generation (RAG) з LangChain