Gestão de custos
Conceitos de LLMOps
Max Knobbout, PhD
Applied Scientist, Uber
Ciclo de vida de LLM: gestão de custos
Gestão de custos
- Foco nos custos do modelo
- Custos podem escalar por hospedagem e/ou uso
- Em modelos auto-hospedados, o custo vem da hospedagem
- Em modelos hospedados externamente, o custo vem do uso
Detalhando os custos de LLM
Auto-hospedado (código aberto)
- Nuvem:
- Tempo de servidor em operação
- On-premises:
- Custos de hardware
- Manutenção e energia
Hospedado externamente (proprietário)
- Proprietário:
- Número de chamadas
- Número de tokens por chamada
Estratégia 1: Escolha o modelo certo
- Use o modelo mais econômico que resolva a tarefa
- Use vários modelos menores específicos à tarefa
- Em auto-hospedagem, considere técnicas de redução de tamanho de modelo
Estratégia 2: Otimize os prompts
- Use compressão de prompt automática
- Reduza conteúdo:
- Otimize a gestão da “memória do chat”
- Otimize o RAG para retornar menos resultados
Estratégia 3: Otimize a quantidade de chamadas
- Use batching
- Use cache de respostas (quando fizer sentido)
- Otimize (e limite) chamadas de agentes
- Defina cotas e limites de taxa
- Considere tarefas que não exigem LLMs
Métricas de custo e prognóstico
- Importante acompanhar:
- Em auto-hospedagem, custo por máquina por unidade de tempo
- Em hospedagem externa, custo por sessão
- Entenda o crescimento da base de usuários e como os custos escalam junto
Vamos praticar!
Conceitos de LLMOps
Preparing Video For Download...
