Medición del rendimiento del modelo

Machine Learning para negocios

Karolis Urbonas

Head of Machine Learning & Science, Amazon

Tipos de medición del rendimiento

Dos métricas clave de aprendizaje supervisado:

  1. Exactitud --> clasificación
  2. Error --> regresión
Machine Learning para negocios

Rendimiento en clasificación

  • Exactitud

  • Exhaustividad

  • Precisión

Machine Learning para negocios

Ejemplo de churn

c1

Machine Learning para negocios

Ejemplo de churn

c2

Machine Learning para negocios

Predicción de churn

c3

Machine Learning para negocios

Elementos mal clasificados

c4

Machine Learning para negocios

Otra predicción de churn

c5

Machine Learning para negocios

Exactitud

acc

Machine Learning para negocios

Precisión

precision

Machine Learning para negocios

Exhaustividad

recall

Machine Learning para negocios

Rendimiento en regresión

  • Error
Machine Learning para negocios

Ejemplo de regresión

r1

Machine Learning para negocios

Predecir ingresos con una recta

r2

Machine Learning para negocios

Error de regresión

r3

Machine Learning para negocios

Probar modelos no lineales

r4

Machine Learning para negocios

Mejoras de error

r5

Machine Learning para negocios

Modelos accionables - Pruebas A/B

Los buenos modelos no siempre son accionables:

Predicción de churn, de compra, de fallos de máquina

Prueba si usar modelos mejora resultados:

Dirige incentivos (descuentos, cupones, promos) a clientes con churn predicho

Envía recordatorios y detalles de producto a quienes probablemente compren

¿Bajó el churn, subió la tasa de compra y bajaron los fallos? Si , automatiza. Si no, recopila más datos, mejora los modelos y prueba de nuevo.

Machine Learning para negocios

¡Vamos a practicar!

Machine Learning para negocios

Preparing Video For Download...