Cómo evaluar el rendimiento

Understanding Machine Learning

Hadrien Lacroix

Content Developer at DataCamp

Evaluación

Understanding Machine Learning

Sobreajuste

  • Funciona muy bien con los datos de entrenamiento
  • Funciona mal con los datos de prueba
  • El modelo memoriza los datos de entrenamiento y no puede generalizar lo que aprende en datos nuevos
  • Utiliza el conjunto de prueba para comprobar el rendimiento del modelo
Understanding Machine Learning

Ilustración del sobreajuste

sobreajuste

Understanding Machine Learning

Precisión

  • Precisión = observaciones correctamente clasificadas/todas las observaciones
  • 48/50 = 96 %

clasificador lineal de la primera lección

Understanding Machine Learning

Límites de la precisión: ejemplo de fraude

$$

Precisión de este modelo:

$$\frac{28\correctly\classified}{30\total\points}=93.33%$$

  • Pasa por alto la mayoría de transacciones fraudulentas
  • Hace falta una métrica mejor
Understanding Machine Learning

Matriz de confusión

matriz de confusión

Understanding Machine Learning

Verdaderos positivos

Understanding Machine Learning

Verdaderos positivos

Understanding Machine Learning

Falsos negativos

Understanding Machine Learning

Falsos negativos

Understanding Machine Learning

Se recuerdan falsos negativos

fp.jpg

Understanding Machine Learning

Completa el resto...

Understanding Machine Learning

Falsos positivos, verdaderos negativos

Understanding Machine Learning

Se recuerdan falsos positivos

fn2.jpg

Understanding Machine Learning

Sensibilidad

¿Cuántas operaciones fraudulentas hemos clasificado correctamente?

$$Sensitivity = \frac{true\ positives}{true\ positives + false\ negatives} =1/3=33.33\% $$

  • Es preferible marcar las transacciones legítimas como sospechosas que autorizar las fraudulentas
Understanding Machine Learning

Especificidad

$$Specificity = \frac{true\ negatives}{true\ negatives + false\ positives}$$

Filtro de spam:

  • Prefiero enviar spam a la bandeja de entrada que enviar correos reales a la carpeta de spam
Understanding Machine Learning

Evaluar la regresión

Understanding Machine Learning

Evaluar la regresión

  • Error = distancia entre el punto (valor real) y la línea (valor previsto)
  • Hay muchas formas de calcularlo, como el error cuadrático medio
Understanding Machine Learning

Aprendizaje no supervisado

elige tu propia aventura

1 https://www.flickr.com/photos/micahdowty/8540188997
Understanding Machine Learning

¡Practiquemos!

Understanding Machine Learning

Preparing Video For Download...