Cómo evaluar el rendimiento

Comprender el machine learning

Hadrien Lacroix

Content Developer at DataCamp

Evaluación

Comprender el machine learning

Sobreajuste

  • Funciona muy bien con los datos de entrenamiento
  • Funciona mal con los datos de prueba
  • El modelo memoriza los datos de entrenamiento y no puede generalizar lo que aprende en datos nuevos
  • Utiliza el conjunto de prueba para comprobar el rendimiento del modelo
Comprender el machine learning

Ilustración del sobreajuste

sobreajuste

Comprender el machine learning

Precisión

  • Precisión = observaciones correctamente clasificadas/todas las observaciones
  • 48/50 = 96 %

clasificador lineal de la primera lección

Comprender el machine learning

Límites de la precisión: ejemplo de fraude

$$

Precisión de este modelo:

$$\frac{28\correctly\classified}{30\total\points}=93.33%$$

  • Pasa por alto la mayoría de transacciones fraudulentas
  • Hace falta una métrica mejor
Comprender el machine learning

Matriz de confusión

matriz de confusión

Comprender el machine learning

Verdaderos positivos

Comprender el machine learning

Verdaderos positivos

Comprender el machine learning

Falsos negativos

Comprender el machine learning

Falsos negativos

Comprender el machine learning

Se recuerdan falsos negativos

fp.jpg

Comprender el machine learning

Completa el resto...

Comprender el machine learning

Falsos positivos, verdaderos negativos

Comprender el machine learning

Se recuerdan falsos positivos

fn2.jpg

Comprender el machine learning

Sensibilidad

¿Cuántas operaciones fraudulentas hemos clasificado correctamente?

$$Sensitivity = \frac{true\ positives}{true\ positives + false\ negatives} =1/3=33.33\% $$

  • Es preferible marcar las transacciones legítimas como sospechosas que autorizar las fraudulentas
Comprender el machine learning

Especificidad

$$Specificity = \frac{true\ negatives}{true\ negatives + false\ positives}$$

Filtro de spam:

  • Prefiero enviar spam a la bandeja de entrada que enviar correos reales a la carpeta de spam
Comprender el machine learning

Evaluar la regresión

Comprender el machine learning

Evaluar la regresión

  • Error = distancia entre el punto (valor real) y la línea (valor previsto)
  • Hay muchas formas de calcularlo, como el error cuadrático medio
Comprender el machine learning

Aprendizaje no supervisado

elige tu propia aventura

1 https://www.flickr.com/photos/micahdowty/8540188997
Comprender el machine learning

¡Practiquemos!

Comprender el machine learning

Preparing Video For Download...