모델 평가

Python으로 Machine Learning을 활용한 CTR 예측

Kevin Huo

Instructor

정밀도와 재현율

  • 정밀도: 노출 대비 클릭 비율, TP / (TP + FP)
    • 정밀도가 높을수록 광고 지출 ROI가 높아집니다
  • 재현율: 가능한 전체 클릭 중 얻은 클릭 비율, TP / (TP + FN)
    • 재현율이 높을수록 관련 타깃팅이 더 정확합니다
Python으로 Machine Learning을 활용한 CTR 예측

정밀도와 재현율 계산

print(precision_score(
  y_test, y_pred, average = 'weighted'))

0.73

print(recall_score(
  y_test, y_pred, average = 'weighted'))

0.75
Python으로 Machine Learning을 활용한 CTR 예측

기준선 분류기

  • 적절한 기준선과 비교하여 분류기를 평가하는 것이 중요합니다
    • 클릭 데이터의 불균형 때문에, 여기서는 항상 미클릭을 예측하는 분류기가 기준선입니다
y_pred = np.asarray([0 for x in range(len(X_test))])

[[0]
 [0] ...]
Python으로 Machine Learning을 활용한 CTR 예측

ROI 분석에 대한 시사점

  • 기준선 분류기에서는 tp와 fp가 0입니다
  • 따라서 총 수익과 총 지출이 0이므로 ROI는 정의되지 않습니다
  • confusion_matrix()와 ravel()로 네 가지 결과 범주를 구합니다
    total_return = tp * r
total_spent = (tp + fp) * cost
roi = total_return / total_spent
Python으로 Machine Learning을 활용한 CTR 예측

연습해 봅시다!

Python으로 Machine Learning을 활용한 CTR 예측

Preparing Video For Download...