데이터 분할과 혼동 행렬

R로 배우는 신용 위험 모델링

Lore Dirick

Manager of Data Science Curriculum at Flatiron School

분석 시작

Screen Shot 2020-06-15 at 8.43.54 AM.png

훈련 세트와 테스트 세트

Screen Shot 2020-06-15 at 8.43.43 AM.png

훈련 세트와 테스트 세트

Screen Shot 2020-06-15 at 8.43.14 AM.png

교차 검증

Screen Shot 2020-06-15 at 8.43.31 AM.png

모델 평가

      test_set$loan_status    model_prediction   
            ...                     ...
 [8066,]      1                       1
 [8067,]      0                       0
 [8068,]      0                       0
 [8069,]      0                       0
 [8070,]      0                       0
 [8071,]      0                       1
 [8072,]      1                       0
 [8073,]      1                       1
 [8074,]      0                       0
 [8075,]      0                       0
 [8076,]      0                       0
 [8077,]      1                       1
 [8078,]      0                       0
        ...                        ...

모델 평가

      test_set$loan_status    model_prediction   
            ...                     ...
[8066,]       1                       1
[8067,]       0                       0
 [8068,]      0                       0
 [8069,]      0                       0
 [8070,]      0                       0
 [8071,]      0                       1
 [8072,]      1                       0
 [8073,]      1                       1
 [8074,]      0                       0
 [8075,]      0                       0
 [8076,]      0                       0
 [8077,]      1                       1
 [8078,]      0                       0
 [8079,]      0                       1
        ...                        ...

실제 대출 상태 vs. 모델 예측

	연체 없음 (0)	연체 (1)
연체 없음 (0)	8	2
연체 (1)	1	3

모델 평가

      test_set$loan_status    model_prediction   
            ...                     ...
[8066,]       1                       1
[8067,]       0                       0
 [8068,]      0                       0
 [8069,]      0                       0
 [8070,]      0                       0
 [8071,]      0                       1
 [8072,]      1                       0
 [8073,]      1                       1
 [8074,]      0                       0
 [8075,]      0                       0
 [8076,]      0                       0
 [8077,]      1                       1
 [8078,]      0                       0
 [8079,]      0                       1
        ...                        ...

실제 대출 상태 vs. 모델 예측

	연체 없음 (0)	연체 (1)
연체 없음 (0)	TN	FP
연체 (1)	FN	TP

평가 지표

정확도 $$\frac{(8+3)}{14} = 78.57\%$$
민감도 $$\frac{3}{(1+3)} = 75\%$$
특이도 $$\frac{8}{(8+2)} = 80\%$$

실제 대출 상태 vs. 모델 예측

	연체 없음 (0)	연체 (1)
연체 없음 (0)	8	2
연체 (1)	1	3

연습해 봅시다!

R로 배우는 신용 위험 모델링