Modellbewertung

CTR-Vorhersage mit Machine Learning in Python

Kevin Huo

Instructor

Precision und Recall

  • Precision: Anteil der Klicks an allen Impressions, TP / (TP + FP)
    • Höhere Precision bedeutet höheren ROI auf Werbeausgaben
  • Recall: Anteil der erzielten Klicks an allen möglichen Klicks, TP / (TP + FN)
    • Höherer Recall bedeutet besseres Targeting der relevanten Zielgruppe
CTR-Vorhersage mit Machine Learning in Python

Precision und Recall berechnen

print(precision_score(
  y_test, y_pred, average = 'weighted'))

0.73

print(recall_score(
  y_test, y_pred, average = 'weighted'))

0.75
CTR-Vorhersage mit Machine Learning in Python

Baseline-Klassifikatoren

  • Klassifikatoren sollten gegen eine passende Baseline bewertet werden
    • Hier: wegen unausgewogenen Klickdaten eine Klassifikation, die immer „kein Klick“ vorhersagt
y_pred = np.asarray([0 for x in range(len(X_test))])

[[0]
 [0] ...]
CTR-Vorhersage mit Machine Learning in Python

Auswirkungen auf die ROI-Analyse

  • Für den Baseline-Klassifikator sind tp und fp null
  • Daher sind Gesamtertrag und -ausgaben null, ROI ist undefiniert
  • Konfusionsmatrix mit confusion_matrix() und ravel(), um die vier Ergebnisklassen zu erhalten
    total_return = tp * r
total_spent = (tp + fp) * cost
roi = total_return / total_spent
CTR-Vorhersage mit Machine Learning in Python

Lass uns üben!

CTR-Vorhersage mit Machine Learning in Python

Preparing Video For Download...