Riesgos del aprendizaje automático

Machine Learning para negocios

Karolis Urbonas

Head of Machine Learning & Science, Amazon

Rendimiento deficiente

Algunos modelos rinden mal (revisa el rendimiento en test, no en train):

  • Baja precisión

  • Baja exhaustividad (recall)

  • Error grande

Machine Learning para negocios

Baja precisión

Baja precisión: muchos elementos mal clasificados en la clase de interés = muchos falsos positivos

Ejemplo: solo el 10% de los clientes señalados como propensos a comprar realmente compraron

Machine Learning para negocios

Bajo recall

Bajo recall: el modelo captura correctamente solo una pequeña fracción de la clase

Ejemplo: el modelo identificó solo el 25% de todas las transacciones fraudulentas

Machine Learning para negocios

Error grande

Error grande: grandes diferencias entre valores predichos y reales

Ejemplo: el error medio en la predicción de la satisfacción del cliente es de 3,5 unidades o 70 puntos porcentuales

Machine Learning para negocios

Casos no accionables

P: ¿Cómo probar bien los modelos?

R: Ejecuta pruebas/experimentos para validar su rendimiento; p. ej., emails anti-churn, promociones, mantenimiento manual de máquinas, revisión manual de transacciones

Machine Learning para negocios

Pruebas A/B

prueba A/B

Machine Learning para negocios

¿Y si las pruebas no funcionan?

  • Consigue más datos: el negocio debe involucrarse
  • Construye modelos causales para entender los factores
  • Haz investigación cualitativa (encuestas, etc.)
  • Cambia el alcance del problema
    • Reducir
    • Ampliar
    • Otra pregunta
Machine Learning para negocios

¡Vamos a practicar!

Machine Learning para negocios

Preparing Video For Download...