Data splitting and confusion matrices

Kredietrisicomodellering in R

Lore Dirick

Manager of Data Science Curriculum at Flatiron School

Analyse starten

Schermafbeelding 2020-06-15 om 08.43.54.png

Train- en testset

Schermafbeelding 2020-06-15 om 08.43.43.png

Train- en testset

Schermafbeelding 2020-06-15 om 08.43.14.png

Kruisvalidatie

Schermafbeelding 2020-06-15 om 08.43.31.png

Een model evalueren

      test_set$loan_status    model_prediction   
            ...                     ...
 [8066,]      1                       1
 [8067,]      0                       0
 [8068,]      0                       0
 [8069,]      0                       0
 [8070,]      0                       0
 [8071,]      0                       1
 [8072,]      1                       0
 [8073,]      1                       1
 [8074,]      0                       0
 [8075,]      0                       0
 [8076,]      0                       0
 [8077,]      1                       1
 [8078,]      0                       0
        ...                        ...

Een model evalueren

      test_set$loan_status    model_prediction   
            ...                     ...
[8066,]       1                       1
[8067,]       0                       0
 [8068,]      0                       0
 [8069,]      0                       0
 [8070,]      0                       0
 [8071,]      0                       1
 [8072,]      1                       0
 [8073,]      1                       1
 [8074,]      0                       0
 [8075,]      0                       0
 [8076,]      0                       0
 [8077,]      1                       1
 [8078,]      0                       0
 [8079,]      0                       1
        ...                        ...

Werkelijke status vs. modelvoorspelling

	Geen wanbetaling (0)	Wanbetaling (1)
Geen wanbetaling (0)	8	2
Wanbetaling (1)	1	3

Een model evalueren

      test_set$loan_status    model_prediction   
            ...                     ...
[8066,]       1                       1
[8067,]       0                       0
 [8068,]      0                       0
 [8069,]      0                       0
 [8070,]      0                       0
 [8071,]      0                       1
 [8072,]      1                       0
 [8073,]      1                       1
 [8074,]      0                       0
 [8075,]      0                       0
 [8076,]      0                       0
 [8077,]      1                       1
 [8078,]      0                       0
 [8079,]      0                       1
        ...                        ...

Werkelijke status vs. modelvoorspelling

	Geen wanbetaling (0)	Wanbetaling (1)
Geen wanbetaling (0)	TN	FP
Wanbetaling (1)	FN	TP

Enkele maten

Accuratesse $$\frac{(8+3)}{14} = 78.57\%$$
Sensitiviteit $$\frac{3}{(1+3)} = 75\%$$
Specificiteit $$\frac{8}{(8+2)} = 80\%$$

Werkelijke status vs. modelvoorspelling

	Geen wanbetaling (0)	Wanbetaling (1)
Geen wanbetaling (0)	8	2
Wanbetaling (1)	1	3

Laten we oefenen!

Kredietrisicomodellering in R