Applicazioni della valutazione delle metriche

Prevedere il CTR con il Machine Learning in Python

Kevin Huo

Instructor

Quattro categorie di esiti

Esempio delle quattro categorie di esiti in classificazione

  • La prima parte (true/false) indica se il modello è corretto o no
  • La seconda parte (positive/negative) indica l’etichetta assegnata dal modello
Prevedere il CTR con il Machine Learning in Python

Interpretazioni delle quattro categorie

  • Se il modello predice un click, si fa un’offerta per quell’impression, con un costo
  • Se non predice un click, niente offerta e nessun costo
  • Veri positivi (TP): denaro guadagnato (impression pagate con click).
  • Falsi positivi (FP): denaro perso (impression pagate senza click).
  • Veri negativi (TN): denaro risparmiato (nessun click previsto, quindi nessun acquisto).
  • Falsi negativi (FN): mancato guadagno (nessun click previsto, ma in realtà ci sarebbe stato).
Prevedere il CTR con il Machine Learning in Python

Matrice di confusione

print(confusion_matrix(y_test, y_pred))

[[8163  166]
 [1517  154]]

# Order: tn, fp, fn, tp
print(confusion_matrix(y_test, y_pred).ravel())

[8163, 166, 1517, 154]
Prevedere il CTR con il Machine Learning in Python

Analisi ROI

  • Supponi: un costo c e un ritorno r per X impression
total_return = tp * r

total_cost = (tp + fp) * c

tp * r > (tp + fp) * c

roi = total_return / total_spent
Prevedere il CTR con il Machine Learning in Python

Passons à la pratique !

Prevedere il CTR con il Machine Learning in Python

Preparing Video For Download...