RAG versus fine-tuning

Conceitos de LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Ciclo de vida de LLM: RAG versus fine-tuning

Visão geral das fases do ciclo de vida de apps com LLM

Conceitos de LLMOps

Retrieval Augmented Generation (RAG)

Desenho divertido usando uma banana para alimentar um tablet

 

  • Combine a capacidade de raciocínio dos LLMs com conhecimento externo.

  • Três etapas na cadeia:

    1. Retrieve docs relacionados
    2. Augment o prompt com exemplos
    3. Generate a saída

  • Geralmente implementado com bancos vetoriais.

Conceitos de LLMOps

Cadeia RAG com banco vetorial

  1. Retrieve:
    • Converter o input em embedding
    • Buscar no banco vetorial
    • Recuperar os docs mais similares

Cadeia de busca

Conceitos de LLMOps

Cadeia RAG com banco vetorial

  1. Retrieve:
    • Gerar embedding do input
    • Buscar no banco vetorial
    • Recuperar os docs mais similares
  2. Augment:
    • Combina o input com os docs para criar o prompt final

Cadeia de aumento

Conceitos de LLMOps

Cadeia RAG com banco vetorial

  1. Retrieve:
    • Gerar embedding do input
    • Buscar no banco vetorial
    • Recuperar os docs mais similares
  2. Augment:
    • Juntar o input com os top-k docs e criar o prompt aumentado
  3. Generate:
    • Usa o prompt para gerar a saída

Há muitas escolhas de implementação e modelos de embedding. Teste e experimente!

Cadeia de geração

Conceitos de LLMOps

Fine-tuning

 

Imagem divertida de um desenho animado ganhando um terno sob medida

 

 

  • Ajusta os pesos do LLM
  • Expande para tarefas e domínios específicos:
    • Idiomas diferentes
    • Áreas especializadas
Conceitos de LLMOps

Fine-tuning

Fine-tuning supervisionado (transfer learning)

Tipo de dado necessário 📂:

  • Dados de demonstração (inputs com as saídas desejadas)

Reinforcement Learning from Human Feedback (RLHF)

Tipo de dado necessário 📂:

  • Rankings ou notas de qualidade (obtidas de likes e dislikes)

Abordagem 🔍:

  • Re-treinar (partes do) modelo

Abordagem 🔍:

  • Treinar um modelo de recompensa extra
  • Otimizar o LLM original para maximizar isso
Conceitos de LLMOps

RAG ou fine-tuning

RAG
  • Use ao incluir conhecimento factual
  • ✅ Mantém capacidades do LLM, fácil de implementar, sempre atualizado
  • ❌ Adiciona componentes extras, exige engenharia cuidadosa

Desenho divertido usando uma banana para alimentar um tablet

Imagem divertida de um desenho animado ganhando um terno sob medida

Fine-tuning
  • Use ao especializar em um novo domínio
  • ✅ Controle total e sem componentes extras
  • ❌ Precisa de dados rotulados e conhecimento especializado, amplifica vieses, esquecimento catastrófico
Conceitos de LLMOps

O ciclo de desenvolvimento

Ciclo de desenvolvimento com a atividade de criação de cadeias e agentes adicionada

Conceitos de LLMOps

O ciclo de desenvolvimento

Ciclo de desenvolvimento com a atividade de RAG adicionada

Conceitos de LLMOps

O ciclo de desenvolvimento

Ciclo de desenvolvimento com a atividade de fine-tuning adicionada

Conceitos de LLMOps

Vamos praticar!

Conceitos de LLMOps

Preparing Video For Download...