Evaluar el resultado del modelo de regresión logística

Modelización del riesgo de crédito en R

Lore Dirick

Manager of Data Science Curriculum at Flatiron School

Resumen: evaluación del modelo

test_set$loan_status    model_prediction   
               ...                 ...
[8066,]          1                   1
[8067,]          0                   0
[8068,]          0                   0
[8069,]          0                   0
[8070,]          0                   0
[8071,]          0                   1
[8072,]          1                   0
[8073,]          1                   1
[8074,]          0                   0
[8075,]          0                   0
[8076,]          0                   0
[8077,]          1                   1
[8078,]          0                   0
[8079,]          0                   1
        ...                        ...

Estado real del préstamo vs. Predicción del modelo

Sin impago (0) Impago (1)
Sin impago (0) 8 2
Impago (1) 1 3
Modelización del riesgo de crédito en R

En la práctica...

test_set$loan_status    model_prediction   
               ...                  ....
[8066,]          1            0.09881492
[8067,]          0            0.09497852
[8068,]          0            0.21071984
[8069,]          0            0.04252119
[8070,]          0            0.21110838
[8071,]          0            0.08668856
[8072,]          1            0.11319341
[8073,]          1            0.16662207
[8074,]          0            0.15299176
[8075,]          0            0.08558058
[8076,]          0            0.08280463
[8077,]          1            0.11271048
[8078,]          0            0.08987446
[8079,]          0            0.08561631
         ....                     ....

Estado real del préstamo vs. Predicción del modelo

Sin impago (0) Impago (1)
Sin impago (0) ? ?
Impago (1) ? ?
Modelización del riesgo de crédito en R

En la práctica...

test_set$loan_status    model_prediction   
         ....                     ....
[8066,]          1            0.09881492
[8067,]          0            0.09497852
[8068,]          0            0.21071984
[8069,]          0            0.04252119
[8070,]          0            0.21110838
[8071,]          0            0.08668856
[8072,]          1            0.11319341
[8073,]          1            0.16662207
[8074,]          0            0.15299176
[8075,]          0            0.08558058
[8076,]          0            0.08280463
[8077,]          1            0.11271048
[8078,]          0            0.08987446
[8079,]          0            0.08561631
         ....                     ....

Valor de corte o umbral

  • Entre 0 y 1
Modelización del riesgo de crédito en R

Umbral = 0.5

test_set$loan_status    model_prediction   
         ...                       ...
  [8066,]          1                   0
  [8067,]          0                   0
  [8068,]          0                   0
  [8069,]          0                   0
  [8070,]          0                   0
  [8071,]          0                   0
  [8072,]          1                   0
  [8073,]          1                   0
  [8074,]          0                   0
  [8075,]          0                   0
  [8076,]          0                   0
  [8077,]          1                   0
  [8078,]          0                   0
  [8079,]          0                   0
        ...                        ...
Modelización del riesgo de crédito en R

Umbral = 0.5

test_set$loan_status    model_prediction   
         ...                       ...
  [8066,]          1                   0
  [8067,]          0                   0
  [8068,]          0                   0
  [8069,]          0                   0
  [8070,]          0                   0
  [8071,]          0                   0
  [8072,]          1                   0
  [8073,]          1                   0
  [8074,]          0                   0
  [8075,]          0                   0
  [8076,]          0                   0
  [8077,]          1                   0
  [8078,]          0                   0
  [8079,]          0                   0
        ...                        ...

Estado real del préstamo vs. Predicción del modelo

Sin impago (0) Impago (1)
Sin impago (0) 10 0
Impago (1) 4 0

$$

$\text{Sensibilidad} = 0/(4+0) = 0\%$

$\text{Exactitud} = 10/(10+4+0+0) = 71{,}4\%$

Modelización del riesgo de crédito en R

Umbral = 0.1

test_set$loan_status    model_prediction   
         ...                       ...
  [8066,]          1                   0
  [8067,]          0                   0
  [8068,]          0                   0
  [8069,]          0                   0
  [8070,]          0                   0
  [8071,]          0                   0
  [8072,]          1                   0
  [8073,]          1                   0
  [8074,]          0                   0
  [8075,]          0                   0
  [8076,]          0                   0
  [8077,]          1                   0
  [8078,]          0                   0
  [8079,]          0                   0
        ...                        ...

Estado real del préstamo vs. Predicción del modelo

Sin impago (0) Impago (1)
Sin impago (0) 7 3
Impago (1) 1 3

$$

$\text{Sensibilidad} = 3/(3+1) = 75\%$

$\text{Exactitud} = 10/(10+4+0+0) = 71{,}4\%$

Modelización del riesgo de crédito en R

¡Vamos a practicar!

Modelización del riesgo de crédito en R

Preparing Video For Download...