Pruebas

Conceptos de LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Ciclo de vida de LLM: Pruebas

Resumen de las fases del ciclo de vida de una app LLM

Conceptos de LLMOps

¿Por qué hay que probar?

 

Una imagen lúdica de dos personajes de dibujos sosteniendo un pulgar arriba y uno abajo

 

 

  • Los LLM cometen errores
  • Probar es clave para evaluar si la app está lista para producción
  • Veremos cómo evaluar el output
Conceptos de LLMOps

ML tradicional vs. pruebas de apps LLM

ML supervisado tradicional:

  • Necesita datos etiquetados de train y test
  • Métricas centradas en la exactitud o cercanía al objetivo

Imagen de train y test para ML tradicional

Aplicaciones con LLM:

  • Necesitan datos de test, no siempre etiquetados
  • Calidad del output usando varias métricas

Imagen de train y test para apps LLM

Conceptos de LLMOps

Paso 1: Crear un conjunto de test

 

Imagen lúdica de personajes de dibujos recogiendo datos

 

 

  • Construir el conjunto de test ya debería estar hecho
  • Los datos de test deben parecerse mucho a casos reales
  • Varias herramientas pueden ayudar
Conceptos de LLMOps

Paso 2: Elegir la métrica

Si hay una respuesta correcta...

  • ... usa métricas de ML. Ejemplo:
    • Accuracy

Diagrama de flujo que apunta a "Use ML metrics"

Conceptos de LLMOps

Paso 2: Elegir la métrica

Si hay una respuesta de referencia...

  • ... usa métodos estadísticos.
  • ... usa métodos basados en modelos. Ejemplo:
    • Jueces LLM

Diagrama de flujo que apunta a "Use text comparison metrics"

Conceptos de LLMOps

Paso 2: Elegir la métrica

Si tenemos feedback humano...

  • ... que personas valoren el texto. Ejemplos:
    • Valorar calidad
    • Valorar relevancia
    • Valorar coherencia
  • ... usar un enfoque basado en modelos. Ejemplo:
    • Predecir la nota según feedback previo
    • Preguntar a un juez LLM si se incorporó el feedback

Diagrama de flujo que apunta a "Use feedback score metrics"

Conceptos de LLMOps

Paso 2: Elegir la métrica

Si no hay feedback humano...

  • ... usa métricas no supervisadas. Ejemplos:
    • Coherencia
    • Fluidez
    • Diversidad

Diagrama de flujo que apunta a "Use unsupervised metrics"

Conceptos de LLMOps

Paso 3: Definir métricas secundarias opcionales

 

 

Características del output:

  • 🎭 Sesgo
  • ☠ Toxicidad
  • 🤝 Utilidad

 

 

Características operativas:

  • ⏱ Latencia
  • 💰 Coste total incurrido
  • 💻 Uso de memoria
Conceptos de LLMOps

El ciclo de desarrollo

Ciclo de desarrollo donde añadimos la actividad de fine-tuning

Conceptos de LLMOps

El ciclo de desarrollo

Ciclo de desarrollo donde añadimos la actividad de pruebas

Conceptos de LLMOps

El ciclo de desarrollo

Ciclo de desarrollo donde añadimos la actividad de pruebas

Conceptos de LLMOps

El ciclo de desarrollo

Ciclo de desarrollo donde añadimos la actividad de despliegue

Conceptos de LLMOps

¡Vamos a practicar!

Conceptos de LLMOps

Preparing Video For Download...