분류 성능 지표

Python에서의 모델 검증

Kasey Jones

Data Scientist

혼동 행렬

혼동 행렬은 2x2 행렬로, 0/1로 예측된 수와 실제 0/1 수를 나타냅니다. 이를 통해 다양한 정확도 지표를 계산할 수 있습니다.

from sklearn.metrics import confusion_matrix
cm = confusion_matrix(y_test, test_predictions)
print(cm)

array([[ 23,  7],
       [  8, 62]])

cm[<true_category_index>, <predicted_category_index>]
cm[1, 0]

정확도는 혼동 행렬의 주대각선을 사용해 계산합니다.

정밀도는 1로 예측된 관측치에 집중합니다. 1로 예측한 것 중 실제로 1은 얼마나 될까요?

재현율은 실제 값이 1인 관측치에 집중합니다. 이 1들 중에서 몇 개를 1로 예측했나요?

from sklearn.metrics import accuracy_score, precision_score, recall_score
accuracy_score(y_test, test_predictions)

.85

precision_score(y_test, test_predictions)

.8986

recall_score(y_test, test_predictions)

.8857

Python에서의 모델 검증