Valutazione del modello

Prevedere il CTR con il Machine Learning in Python

Kevin Huo

Instructor

Precision e recall

  • Precisione: quota di clic sul totale impression, TP / (TP + FP)
    • Precisione più alta = ROI più alto sugli annunci
  • Recall: quota di clic ottenuti sui clic possibili, TP / (TP + FN)
    • Recall più alto = targeting più efficace del pubblico
Prevedere il CTR con il Machine Learning in Python

Calcolare precision e recall

print(precision_score(
  y_test, y_pred, average = 'weighted'))

0.73

print(recall_score(
  y_test, y_pred, average = 'weighted'))

0.75
Prevedere il CTR con il Machine Learning in Python

Classificatori baseline

  • È importante valutare i classificatori rispetto a un baseline adeguato
    • Qui, dato lo squilibrio dei clic, il baseline è un classificatore che predice sempre nessun clic
y_pred = np.asarray([0 for x in range(len(X_test))])

[[0]
 [0] ...]
Prevedere il CTR con il Machine Learning in Python

Implicazioni sull’analisi ROI

  • Per il baseline, tp e fp sono zero
  • Quindi rendimento e spesa totali sono zero, ROI non definito
  • Matrice di confusione con confusion_matrix() e ravel() per ottenere le quattro categorie
    total_return = tp * r
total_spent = (tp + fp) * cost
roi = total_return / total_spent
Prevedere il CTR con il Machine Learning in Python

Esercitiamoci!

Prevedere il CTR con il Machine Learning in Python

Preparing Video For Download...