Cómo evaluar el rendimiento

Comprender el machine learning

Hadrien Lacroix

Content Developer at DataCamp

Evaluación

Comprender el machine learning

Sobreajuste

Funciona {{1}}muy bien con los datos de entrenamiento
Funciona {{2}}mal con los datos de prueba
El modelo memoriza los datos de {{3}}entrenamiento y no puede generalizar lo que aprende en datos nuevos Utiliza el conjunto de {{4}}prueba para comprobar el rendimiento del modelo

Comprender el machine learning

Ilustración del sobreajuste

overfitting

Comprender el machine learning

Precisión

Precisión = observaciones {{1}}correctamente clasificadas/todas las observaciones

  • 48 / 50 = 96%

clasificador lineal de la primera lección

Comprender el machine learning

Límites de la precisión: ejemplo de fraude

$$

Precisión de este modelo:

$${{2}}{28\correctly\classified}{30\total\points}=93.33%$$

Pasa por alto la mayoría de transacciones fraudulentas

Comprender el machine learning

Matriz de confusión

matriz de confusión

Comprender el machine learning

Verdaderos positivos

Comprender el machine learning

Verdaderos positivos

Comprender el machine learning

Falsos negativos

Comprender el machine learning

Falsos negativos

Comprender el machine learning

Se recuerdan falsos negativos

fp.jpg

Comprender el machine learning

Completa el resto...

Comprender el machine learning

Falsos positivos, verdaderos negativos

Comprender el machine learning

Se recuerdan falsos positivos

fn2.jpg

Comprender el machine learning

Sensibilidad

¿Cuántas operaciones fraudulentas hemos clasificado correctamente?

$$Sensibilidad = \frac{verdaderos\ positivos}{verdaderos\ positivos + falsos\ negativos} =1/3=33,33\% $$

Es preferible marcar las transacciones legítimas como sospechosas que autorizar las fraudulentas

Comprender el machine learning

Especificidad

$$Especificidad = \frac{verdaderos\ negativos}{verdaderos\ negativos + falsos\ positivos}$$

Filtro de spam:

Comprender el machine learning

Evaluar la regresión

Comprender el machine learning

Evaluar la regresión

Error = distancia entre el punto (valor real) y la línea (valor previsto)

Comprender el machine learning

Aprendizaje no supervisado

elige tu propia aventura

1 https://www.flickr.com/photos/micahdowty/8540188997
Comprender el machine learning

¡Practiquemos!

Comprender el machine learning

Preparing Video For Download...