Applications de l’évaluation par métriques

Prédire le CTR avec le Machine Learning en Python

Kevin Huo

Instructor

Quatre catégories de résultats

Exemple des quatre catégories de résultats en classification

  • La première partie (vrai/faux) indique si le modèle a eu raison ou tort
  • La seconde partie (positif/négatif) indique l’étiquette prédite par le modèle
Prédire le CTR avec le Machine Learning en Python

Interprétation des quatre catégories

  • Si le modèle prédit un clic, une enchère est faite pour l’impression, ce qui coûte de l’argent
  • Si aucun clic n’est prédit, pas d’enchère donc pas de coût
  • Vrais positifs (TP) : argent gagné (impressions payées qui ont été cliquées).
  • Faux positifs (FP) : argent perdu (impressions payées mais non cliquées).
  • Vrais négatifs (TN) : argent économisé (pas de clic prédit donc pas d’achat d’impressions).
  • Faux négatifs (FN) : manque à gagner (pas de clic prédit, alors qu’il y aurait eu un clic réel).
Prédire le CTR avec le Machine Learning en Python

Matrice de confusion

print(confusion_matrix(y_test, y_pred))

[[8163  166]
 [1517  154]]

# Order: tn, fp, fn, tp
print(confusion_matrix(y_test, y_pred).ravel())

[8163, 166, 1517, 154]
Prédire le CTR avec le Machine Learning en Python

Analyse du ROI

  • Hypothèses : un coût c et un gain r par X impressions
 total_return = tp * r

 total_cost = (tp + fp) * c

 tp * r > (tp + fp) * c

 roi = total_return / total_spent
Prédire le CTR avec le Machine Learning en Python

Passons à la pratique !

Prédire le CTR avec le Machine Learning en Python

Preparing Video For Download...