Testes

Conceitos de LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Ciclo de vida de LLM: Testes

Visão geral das fases do ciclo de vida de apps LLM

Conceitos de LLMOps

Por que precisamos testar?

 

Uma imagem divertida de dois personagens de desenho segurando um joinha e um dislike

 

 

  • LLMs erram
  • Testar é vital para avaliar a prontidão do app para deploy
  • Vamos tratar da avaliação da saída
Conceitos de LLMOps

ML tradicional vs. testes de apps LLM

ML supervisionado tradicional:

  • Precisa de dados rotulados de treino e teste
  • Métricas focadas em acurácia ou proximidade do alvo

Imagem de conjunto de treino e teste para ML tradicional

Aplicações com LLM:

  • Precisa de dados de teste, não necessariamente rotulados
  • Qualidade da saída usando várias    métricas

Imagem de conjunto de treino e teste para apps LLM

Conceitos de LLMOps

Passo 1: Construindo um conjunto de teste

 

Imagem divertida de personagens de desenho coletando dados

 

 

  • A construção do conjunto de teste deve estar concluída agora
  • Dados de teste devem refletir de perto cenários reais
  • Várias ferramentas podem ajudar nesse processo
Conceitos de LLMOps

Passo 2: Escolhendo a métrica

Se houver uma resposta correta...

  • ... use métricas de ML. Ex.:
    • Acurácia

Fluxograma apontando para "Use métricas de ML"

Conceitos de LLMOps

Passo 2: Escolhendo a métrica

Se houver uma resposta de referência...

  • ... use métodos estatísticos.
  • ... use métodos baseados em modelo. Ex.:
    • Juízes LLM

Fluxograma apontando para "Use métricas de comparação de texto"

Conceitos de LLMOps

Passo 2: Escolhendo a métrica

Se tivermos feedback humano...

  • ... peça que humanos avaliem o texto. Ex.:
    • Avaliar qualidade
    • Avaliar relevância
    • Avaliar coerência
  • ... use abordagem baseada em modelo. Ex.:
    • Prever nota com base em feedback passado
    • Perguntar ao juiz LLM se o feedback foi incorporado

Fluxograma apontando para "Use métricas de pontuação de feedback"

Conceitos de LLMOps

Passo 2: Escolhendo a métrica

Se não houver feedback humano...

  • ... use métricas não supervisionadas. Ex.:
    • Coerência
    • Fluência
    • Diversidade

Fluxograma apontando para "Use métricas não supervisionadas"

Conceitos de LLMOps

Passo 3: Definir métricas secundárias opcionais

 

 

Características de saída:

  • 🎭 Viés
  • ☠ Toxicidade
  • 🤝 Utilidade

 

 

Características operacionais:

  • ⏱ Latência
  • 💰 Custo total incorrido
  • 💻 Uso de memória
Conceitos de LLMOps

O ciclo de desenvolvimento

Ciclo de desenvolvimento com a atividade de fine-tuning adicionada

Conceitos de LLMOps

O ciclo de desenvolvimento

Ciclo de desenvolvimento com a atividade de testes adicionada

Conceitos de LLMOps

O ciclo de desenvolvimento

Ciclo de desenvolvimento com a atividade de testes adicionada

Conceitos de LLMOps

O ciclo de desenvolvimento

Ciclo de desenvolvimento com a atividade de deploy adicionada

Conceitos de LLMOps

Vamos praticar!

Conceitos de LLMOps

Preparing Video For Download...