Supervisión y observabilidad

Conceptos de LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Ciclo de vida de LLM: supervisión y observabilidad

Resumen de las fases del ciclo de vida de una app LLM

Conceptos de LLMOps

Supervisión y observabilidad

 

Imagen divertida de un dibujo animado observando objetos

 

  • La supervisión observa el sistema de forma continua.
  • La observabilidad muestra estados internos a observadores externos.
  • Fuentes para observabilidad:
    1. Logs
    2. Métricas
    3. Trazas
Conceptos de LLMOps

Supervisión de entradas

  • Supervisa entradas para:
    • Cambios
    • Errores
    • Contenido malicioso
  • Deriva de datos: cambio en la distribución de entrada con el tiempo
  • Para gestionarla:
    • Vigila la distribución
    • Actualiza el modelo periódicamente

Supervisión de entradas

Conceptos de LLMOps

Supervisión funcional

  • Ejemplos:

    • Tiempo de respuesta
    • Volumen de peticiones
    • Caídas del servicio
    • Tasa de errores

  • Para apps con LLM:

    • Ejecución de cadenas y agentes
    • Recursos del sistema (GPU)
    • Costes

Supervisión funcional

Conceptos de LLMOps

Supervisión de salidas

  • Usa métricas definidas en pruebas, como:
    • Sesgo
    • Toxicidad
    • Utilidad
  • Deriva del modelo:
    • Cambia la relación entre entrada y salida
  • La censura implica intervenir activamente

Supervisión de salidas

Conceptos de LLMOps

Gestión de alertas

 

 

Imagen divertida de un dibujo animado arreglando alertas

 

 

  • Recibe avisos cuando haya incidencias
  • Procedimientos claros
  • Puede haber Acuerdos de Nivel de Servicio (SLAs)
Conceptos de LLMOps

¡Vamos a practicar!

Conceptos de LLMOps

Preparing Video For Download...