Toepassingen van metriekevaluatie

CTR voorspellen met Machine Learning in Python

Kevin Huo

Instructor

Vier uitkomstcategorieën

Voorbeeld van vier uitkomstcategorieën bij classificatie

  • Eerste deel (true/false): model had gelijk of niet
  • Tweede deel (positive/negative): doelklasse die het model toekende
CTR voorspellen met Machine Learning in Python

Uitleg van de vier categorieën

  • Als het model een klik voorspelt, wordt er geboden op die impressie: dat kost geld
  • Geen klik voorspeld: geen bod, dus geen kosten
  • True positives (TP): geld verdiend (betaalde impressies met klik).
  • False positives (FP): geld verloren (betaalde impressies zonder klik).
  • True negatives (TN): geld bespaard (geen klik voorspeld, dus niet ingekocht).
  • False negatives (FN): gemiste opbrengst (geen klik voorspeld, maar er was er wel een).
CTR voorspellen met Machine Learning in Python

Confusion matrix

print(confusion_matrix(y_test, y_pred))

[[8163  166]
 [1517  154]]

# Volgorde: tn, fp, fn, tp
print(confusion_matrix(y_test, y_pred).ravel())

[8163, 166, 1517, 154]
CTR voorspellen met Machine Learning in Python

ROI-analyse

  • Stel: kosten c en opbrengst r per X impressies
total_return = tp * r

total_cost = (tp + fp) * c

tp * r > (tp + fp) * c

roi = total_return / total_spent
CTR voorspellen met Machine Learning in Python

Laten we oefenen!

CTR voorspellen met Machine Learning in Python

Preparing Video For Download...