Modelevaluatie

CTR voorspellen met Machine Learning in Python

Kevin Huo

Instructor

Precisie en recall

  • Precisie: aandeel klikken t.o.v. totaal aantal impressies, TP / (TP + FP)
    • Hogere precisie betekent hogere ROI op advertentiebudget
  • Recall: aandeel verkregen klikken van alle mogelijke klikken, TP / (TP + FN)
    • Hogere recall betekent betere targeting van relevante doelgroep
CTR voorspellen met Machine Learning in Python

Precisie en recall berekenen

print(precision_score(
  y_test, y_pred, average = 'weighted'))

0.73

print(recall_score(
  y_test, y_pred, average = 'weighted'))

0.75
CTR voorspellen met Machine Learning in Python

Baseline-classifiers

  • Evalueer classifiers altijd t.o.v. een passende baseline
    • Door de ongebalanceerde klikdata is de baseline hier: een classifier die altijd geen klik voorspelt
y_pred = np.asarray([0 for x in range(len(X_test))])

[[0]
 [0] ...]
CTR voorspellen met Machine Learning in Python

Gevolgen voor ROI-analyse

  • Voor de baseline-classifier zijn tp en fp nul
  • Dus totale opbrengst en totale spend zijn nul, en ROI is ongedefinieerd
  • Confusion matrix via confusion_matrix() met ravel() om de vier uitkomsten te krijgen
    total_return = tp * r
total_spent = (tp + fp) * cost
roi = total_return / total_spent
CTR voorspellen met Machine Learning in Python

Laten we oefenen!

CTR voorspellen met Machine Learning in Python

Preparing Video For Download...