Anwendungen der Metrikbewertung

CTR-Vorhersage mit Machine Learning in Python

Kevin Huo

Instructor

Vier Ergebnis­kategorien

Beispiel der vier Ergebnis­kategorien in der Klassifikation

  • Erster Teil (wahr/falsch): Ob das Modell richtig lag
  • Zweiter Teil (positiv/negativ): Das vom Modell vergebene Ziel‑Label
CTR-Vorhersage mit Machine Learning in Python

Deutung der vier Kategorien

  • Wenn das Modell einen Klick vorhersagt, wird für den Impressum eine Gebotsabgabe ausgelöst, die Geld kostet
  • Wenn kein Klick vorhergesagt wird, kein Gebot und keine Kosten
  • True Positives (TP): Geld verdient (bezahlte Impressionen, die geklickt wurden).
  • False Positives (FP): Geld verloren (bezahlte Impressionen ohne Klick).
  • True Negatives (TN): Geld gespart (kein Klick vorhergesagt, daher nichts gekauft).
  • False Negatives (FN): entgangenes Geld (kein Klick vorhergesagt, tatsächlich wäre einer erfolgt).
CTR-Vorhersage mit Machine Learning in Python

Konfusionsmatrix

print(confusion_matrix(y_test, y_pred))

[[8163  166]
 [1517  154]]

# Order: tn, fp, fn, tp
print(confusion_matrix(y_test, y_pred).ravel())

[8163, 166, 1517, 154]
CTR-Vorhersage mit Machine Learning in Python

ROI-Analyse

  • Annahme: Kosten c und Ertrag r pro X Impressionen
total_return = tp * r

total_cost = (tp + fp) * c

tp * r > (tp + fp) * c

roi = total_return / total_spent
CTR-Vorhersage mit Machine Learning in Python

Lass uns üben!

CTR-Vorhersage mit Machine Learning in Python

Preparing Video For Download...