Monitoramento e observabilidade

Conceitos de LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Ciclo de vida de LLM: Monitoramento e observabilidade

Visão geral das fases do ciclo de vida de apps LLM

Conceitos de LLMOps

Monitoramento e observabilidade

 

Imagem divertida de um desenho animado observando itens

 

  • Monitoramento acompanha o sistema continuamente.
  • Observabilidade expõe estados internos a observadores externos.
  • Fontes de dados para observabilidade:
    1. Logs
    2. Métricas
    3. Rastros
Conceitos de LLMOps

Monitoramento de entrada

  • Monitore entradas para:
    • Mudanças
    • Erros
    • Conteúdo malicioso
  • Deriva de dados é a mudança na distribuição das entradas ao longo do tempo
  • Para lidar com a deriva de dados:
    • Monitore a distribuição
    • Atualize o modelo periodicamente

Monitoramento de entrada

Conceitos de LLMOps

Monitoramento funcional

  • Exemplos:

    • Tempo de resposta
    • Volume de requisições
    • Indisponibilidade
    • Taxas de erro

  • Para apps com LLM:

    • Execução de chains e agentes
    • Recursos do sistema (GPU)
    • Custos

Monitoramento funcional

Conceitos de LLMOps

Monitoramento de saída

  • Use métricas definidas nos testes, como:
    • Viés
    • Toxicidade
    • Utilidade
  • Deriva de modelo:
    • A relação entre entrada e saída muda
  • Censura é intervir ativamente

Monitoramento de saída

Conceitos de LLMOps

Tratamento de alertas

 

 

Imagem divertida de um desenho animado corrigindo alertas

 

 

  • Seja avisado quando surgirem problemas
  • Tenha procedimentos claros
  • Acordos de Nível de Serviço (SLAs) podem existir
Conceitos de LLMOps

Vamos praticar!

Conceitos de LLMOps

Preparing Video For Download...