Gestión de costes
Conceptos de LLMOps
Max Knobbout, PhD
Applied Scientist, Uber
Ciclo de vida de LLM: Gestión de costes
Gestión de costes
- Enfoque en costes del modelo
- El coste puede escalar por hosting y/o uso
- En modelos autohospedados, el coste viene del hosting
- En modelos externos, el coste viene del uso
Desglose de costes de LLM
Autohospedado (código abierto)
- En la nube:
- Tiempo que el servidor permanece operativo
- On‑premise:
- Costes de hardware
- Mantenimiento y electricidad
Externo (propietario)
- Propietario:
- Número de llamadas
- Número de tokens por llamada
Estrategia 1: Elige el modelo adecuado
- Usa el modelo más rentable que cumpla la tarea
- Usa varios modelos pequeños específicos de tarea
- En autohospedado, considera técnicas para reducir el tamaño del modelo
Estrategia 2: Optimiza los prompts
- Usa compresión de prompts automática
- Reducir contenido:
- Optimiza la gestión de la "memoria del chat"
- Optimiza RAG para devolver menos resultados
Estrategia 3: Optimiza el número de llamadas
- Usa lotes (batching)
- Usa caché de respuestas (si aplica)
- Optimiza (y limita) las llamadas de agentes
- Define cupos y límites de tasa
- Considera tareas que no requieran LLM
Métricas de coste y prognosis
- Importante seguir:
- En autohospedado, coste por máquina por unidad de tiempo
- En externo, coste por sesión
- Entiende cómo crecerá la base de usuarios y cómo escalarán los costes
¡Vamos a practicar!
Conceptos de LLMOps
Preparing Video For Download...
