Évaluation du modèle

Prédire le CTR avec le Machine Learning en Python

Kevin Huo

Instructor

Précision et rappel

  • Précision : part des clics parmi toutes les impressions, TP / (TP + FP)
    • Plus de précision = meilleur ROI des dépenses pub
  • Rappel : part des clics obtenus parmi tous les clics possibles, TP / (TP + FN)
    • Plus de rappel = meilleur ciblage de l’audience pertinente
Prédire le CTR avec le Machine Learning en Python

Calcul de la précision et du rappel

print(precision_score(
  y_test, y_pred, average = 'weighted'))

0.73

print(recall_score(
  y_test, y_pred, average = 'weighted'))

0.75
Prédire le CTR avec le Machine Learning en Python

Classificateurs de référence

  • Il est essentiel d’évaluer les classificateurs par rapport à une base de référence appropriée
    • Ici, vu le déséquilibre des clics, la référence est un classificateur qui prédit toujours aucun clic
y_pred = np.asarray([0 for x in range(len(X_test))])

[[0]
 [0] ...]
Prédire le CTR avec le Machine Learning en Python

Impacts sur l’analyse du ROI

  • Pour le classificateur de référence, tp et fp sont nuls
  • Donc le rendement total et la dépense totale sont nuls, et le ROI est indéfini
  • Matrice de confusion via confusion_matrix() avec ravel() pour obtenir les quatre catégories de résultats
    total_return = tp * r
total_spent = (tp + fp) * cost
roi = total_return / total_spent
Prédire le CTR avec le Machine Learning en Python

Passons à la pratique !

Prédire le CTR avec le Machine Learning en Python

Preparing Video For Download...