성능 평가하기

머신 러닝 이해하기

Hadrien Lacroix

Content Developer at DataCamp

평가 단계

과적합

• 학습 데이터에서 매우 뛰어남
• 테스트 데이터에서 성능이 낮음
• 모델은 학습 데이터를 암기했으며 새로운 데이터에 학습 내용을 일반화할 수 없읍
• 모델 성능을 확인하기 위해 테스트 세트 사용

과적합 설명하기

- 정확도

• 정확도 = 올바르게 분류된 관측값 / 모든 관측값
• 48 / 50 = 96%

정확도의 한계: 사기 예시

$$

이 모델의 정확도:

$$\frac{28, 올바르게 분류된 수}{30, 총 포인트 수}=93.33\%$$

• 사기 거래의 대부분을 놓침
• 더 나은 지표가 필요

혼동 행렬

진양성

진양성

위음성

위음성

위음성 기억하기

나머지를 작성하세요...

위양성, 진음성

위양성 기억하기

민감도

몇 건의 사기 거래를 올바르게 분류했나요?

$$민감도 = \frac{진양성}{진양성 + 위음성} =1/3=33.33\% $$

• 사기 거래를 승인하는 것보다 정상 거래를 의심스러운 거래로 표시하는 게 낫습니다

특이도

$$민감도 = \frac{진음성}{진음성 + 위양성}$$

스팸 필터:

• 실제 이메일이 스팸 폴더로 분류되는 것보다 스팸을 받은 편지함에 보내는 게 낫습니다

회귀 평가하기

회귀 평가하기

• 오류 = 점(실제 값)과 선(예측 값) 사이의 거리
• 다양한 계산 방법(예: 평균 제곱근 오차)

비지도 학습

¹ https://www.flickr.com/photos/micahdowty/8540188997

연습해봅시다!

머신 러닝 이해하기