Applications de l'évaluation des mesures

Prédire le CTR avec le Machine Learning en Python

Kevin Huo

Instructor

Quatre catégories de résultats

Exemple des quatre catégories de résultats en classification

  • Première partie de la catégorie (vrai/faux) : indique si le modèle a eu raison ou tort
  • Deuxième partie (positif/négatif) : indique l'étiquette visée que le modèle a appliquée
Prédire le CTR avec le Machine Learning en Python

Interpréter les quatre catégories

  • Si le modèle prédit un clic, alors on mise sur cette impression, ce qui coûte de l'argent
  • Si aucun clic n'est prédit, aucune mise, donc aucun coût
  • Vrais positifs (TP) : argent gagné (impressions payées qui ont été cliquées).
  • Faux positifs (FP) : argent perdu (impressions payées, sans clic).
  • Vrais négatifs (TN) : argent économisé (aucun clic prédit, donc aucune impression achetée).
  • Faux négatifs (FN) : manque à gagner (aucun clic prédit, alors qu'il y aurait eu un clic réel).
Prédire le CTR avec le Machine Learning en Python

Matrice de confusion

print(confusion_matrix(y_test, y_pred))

[[8163  166]
 [1517  154]]

# Order: tn, fp, fn, tp
print(confusion_matrix(y_test, y_pred).ravel())

[8163, 166, 1517, 154]
Prédire le CTR avec le Machine Learning en Python

Analyse du RSI

  • Supposons : un coût c et un rendement r par X impressions
total_return = tp * r

total_cost = (tp + fp) * c

tp * r > (tp + fp) * c

roi = total_return / total_spent
Prédire le CTR avec le Machine Learning en Python

Passons à la pratique !

Prédire le CTR avec le Machine Learning en Python

Preparing Video For Download...