Cadeias e agentes

Conceitos de LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Ciclo de vida de LLM: cadeias e agentes

Visão geral das fases do ciclo de vida de apps com LLM

Conceitos de LLMOps

De prompts a aplicações

Modelo de prompt para classificação de calorias de pratos

 

  • Para usar este modelo, precisamos de:
    • Exemplos
    • Input
  • Passos:
    1. Receber o input
    2. Buscar exemplos
    3. Criar o prompt
    4. Obter o output
    5. Fazer o parsing do output
Conceitos de LLMOps

Uma cadeia usando nosso modelo

 

Um app com LLM usando uma cadeia que recupera pratos similares do banco de dados

Conceitos de LLMOps

A necessidade de cadeias

 

Uma imagem divertida de três personagens desenhando uma cadeia

 

 

  • Criar apps sofisticados
  • Adotar design modular, com mais escala e eficiência
  • Abrir espaço para personalização
Conceitos de LLMOps

Agentes

 

 

Uma imagem divertida de um desenho animado montando um rato robô

 

  • Agentes são compostos por:
    • Múltiplas ações (ou ferramentas)
    • Um LLM que decide qual ação executar

 

  • Úteis quando:
    • Há muitas ações
    • A sequência ideal de passos é desconhecida
    • Há incerteza nos inputs
Conceitos de LLMOps

Agentes

Uma arquitetura de agente com duas ações

Conceitos de LLMOps

Agentes

Uma arquitetura de agente com duas ações

Conceitos de LLMOps

Agentes

Uma arquitetura de agente com duas ações

Conceitos de LLMOps

A diferença entre cadeias e agentes

 

 

Cadeias 🔗 Agentes 🤖
Natureza Determinística Adaptativa
Complexidade   Baixa Alta
Flexibilidade Baixa Alta
Risco Menor (pela previsibilidade)                 Maior (pela adaptabilidade)                
Conceitos de LLMOps

O ciclo de desenvolvimento

Ciclo de desenvolvimento com a atividade de engenharia de prompts

Conceitos de LLMOps

O ciclo de desenvolvimento

Ciclo de desenvolvimento com cadeias e agentes.

Conceitos de LLMOps

O ciclo de desenvolvimento

Ciclo de desenvolvimento com a atividade de criar cadeias e agentes

Conceitos de LLMOps

Vamos praticar!

Conceitos de LLMOps

Preparing Video For Download...