모델 성능 평가

마케팅 애널리틱스: Python으로 고객 이탈 예측하기

Mark Peterson

Director of Data Science, Infoblox

정확도

  • 가능한 지표: 정확도
    • 올바른 예측 수 / 전체 데이터 포인트 수
  • 어떤 데이터를 사용할까요?
    • 학습 데이터는 새로운 데이터의 대표성이 떨어질 수 있음
마케팅 애널리틱스: Python으로 고객 이탈 예측하기

학습/테스트 세트

  • 분류기를 학습 세트에 적합합니다
  • 테스트 세트로 예측을 수행합니다
마케팅 애널리틱스: Python으로 고객 이탈 예측하기

scikit-learn으로 학습/테스트 세트 구성

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(telco['data'], telco['target'], test_size=0.2, random_state = 42)
from sklearn.svm import SVC svc = SVC() svc.fit(X_train, y_train) svc.predict(X_test)
마케팅 애널리틱스: Python으로 고객 이탈 예측하기

정확도 계산

svc.score(X_test, y_test)
0.857
  • 정확도 85.7%: 첫 시도로는 꽤 좋습니다!
마케팅 애널리틱스: Python으로 고객 이탈 예측하기

모델 개선

  • 과적합: 학습 데이터를 지나치게 밀착해 학습
  • 과소적합: 학습 데이터의 경향을 포착하지 못함
  • 과적합과 과소적합의 균형을 찾아야 함
마케팅 애널리틱스: Python으로 고객 이탈 예측하기

연습해 봅시다!

마케팅 애널리틱스: Python으로 고객 이탈 예측하기

Preparing Video For Download...