Seguimiento del rendimiento

Descifrando la Decision Science

Akshay Swaminathan

PD Soros Fellow at Stanford University School of Medicine

Rendimiento del modelo

Modelos distintos, fortalezas distintas

  • Un modelo identifica mejor quién puede impagar
  • Otro estima mejor cuánto podrían impagar

  balanza.png

¿Qué modelo es mejor? Depende del objetivo

  • ¿Te importa más señalar clientes de riesgo
  • ¿O estimar el impacto financiero del impago?
Descifrando la Decision Science

Métricas del modelo

Métricas distintas iluminan aspectos distintos del rendimiento

Métricas de evaluación comunes:

  • Accuracy
  • Precision
  • Recall
  • F1-Score
  • Area Under the Curve (AUC)
  • Mean Absolute Error (MAE)
  • Mean Absolute Percent Error (MAPE)

  panel.png

Descifrando la Decision Science

Accuracy

 

Vista general de aciertos

  • Porcentaje de predicciones correctas del modelo
  • Funciona bien con clases balanceadas, como spam vs not spam

acc.png

Precision

 

De los positivos predichos, cuántos son correctos

  • Importante cuando los falsos positivos cuestan
  • Precisión baja = marcar muchas transacciones legítimas como fraudulent

precision.png

Descifrando la Decision Science

Más métricas

Recall: captar los verdaderos positivos

  • Mide cómo de bien el modelo encuentra positivos reales
  • Clave cuando perder un caso cuesta caro (p. ej., fraude, enfermedad)

Área bajo la curva (AUC): separación de clases

  • Evalúa cómo de bien el modelo distingue clases
  • No depende de un umbral concreto

Métricas de regresión: error de predicción

  • Error absoluto medio (MAE): tamaño medio de los errores
  • Error porcentual medio (MPE): desviación en porcentaje

 

Más métricas

Descifrando la Decision Science

Los paneles son clave

Los paneles convierten análisis complejos en ideas claras y accionables, facilitando la toma de decisiones.

 

panel2.gif

Descifrando la Decision Science

Principios básicos

 

Conoce a tu audiencia

  • Ejecutivos quieren resúmenes
  • Analistas necesitan detalle

 

Destaca métricas clave

  • Muestra solo lo que más importa
  • Evita el ruido y el desorden

 

Usa visualizaciones claras

  • Barras para comparar, líneas para tendencias en el tiempo
  • Lo simple suele funcionar mejor

  claro.png

Descifrando la Decision Science

Más principios

Sigue el cambio en el tiempo

  • Controla el rendimiento y el drift de variables
  • Las tendencias dan contexto a las métricas

Añade contexto, no solo números

  • Usa anotaciones breves para explicar cambios clave
  • Ayuda a entender qué pasa y por qué

Prueba e itera

  • Comparte pronto y recoge feedback
  • Actualiza los paneles según evolucionen modelos y necesidades

iterar.png

Descifrando la Decision Science

¡Vamos a practicar!

Descifrando la Decision Science

Preparing Video For Download...