평가지표의 활용

Python으로 Machine Learning을 활용한 CTR 예측

Kevin Huo

Instructor

네 가지 결과 범주

분류에서 네 가지 결과 범주의 예

  • 범주의 첫 부분(true/false)은 모델의 정오를 뜻함
  • 범주의 두 번째 부분(positive/negative)은 모델이 부여한 타깃 라벨을 뜻함
Python으로 Machine Learning을 활용한 CTR 예측

네 범주의 해석

  • 모델이 클릭을 예측하면, 그 노출에 입찰하며 비용이 듭니다
  • 클릭 미예측이면 입찰 없음 → 비용 없음
  • True positive(TP): 수익 발생(비용을 지불했고 클릭됨)
  • False positive(FP): 손실(비용 지불했으나 클릭 안 됨)
  • True negative(TN): 비용 절감(클릭 미예측 → 구매 안 함)
  • False negative(FN): 기회 손실(클릭 미예측했으나 실제로는 클릭됨)
Python으로 Machine Learning을 활용한 CTR 예측

혼동 행렬

print(confusion_matrix(y_test, y_pred))

[[8163  166]
 [1517  154]]

# Order: tn, fp, fn, tp
print(confusion_matrix(y_test, y_pred).ravel())

[8163, 166, 1517, 154]
Python으로 Machine Learning을 활용한 CTR 예측

ROI 분석

  • 가정: 일정 노출 수당 비용 c, 수익 r
total_return = tp * r

total_cost = (tp + fp) * c

tp * r > (tp + fp) * c

roi = total_return / total_spent
Python으로 Machine Learning을 활용한 CTR 예측

연습해 봅시다!

Python으로 Machine Learning을 활용한 CTR 예측

Preparing Video For Download...