Évaluation du modèle

Prédire le CTR avec le Machine Learning en Python

Kevin Huo

Instructor

Précision et rappel

  • Précision : part des clics par rapport au nombre total d'impressions, TP / (TP + FP)
    • Une précision plus élevée signifie un meilleur RSI des dépenses pub
  • Rappel : part des clics obtenus parmi tous les clics possibles, TP / (TP + FN)
    • Un rappel plus élevé signifie un meilleur ciblage du public pertinent
Prédire le CTR avec le Machine Learning en Python

Calcul de la précision et du rappel

print(precision_score(
  y_test, y_pred, average = 'weighted'))

0.73

print(recall_score(
  y_test, y_pred, average = 'weighted'))

0.75
Prédire le CTR avec le Machine Learning en Python

Classifieurs de base (baseline)

  • Il est essentiel d'évaluer les classifieurs par rapport à une référence appropriée
    • Ici, vu le déséquilibre des données de clics, la référence est un classifieur qui prédit toujours aucun clic
y_pred = np.asarray([0 for x in range(len(X_test))])

[[0]
 [0] ...]
Prédire le CTR avec le Machine Learning en Python

Incidences sur l'analyse du RSI

  • Pour le classifieur de base, tp et fp seront à zéro
  • Donc, rendement total et dépenses totales seront zéro, et le RSI sera indéfini
  • Matrice de confusion avec confusion_matrix() et ravel() pour obtenir les quatre catégories d'issues
    total_return = tp * r
total_spent = (tp + fp) * cost
roi = total_return / total_spent
Prédire le CTR avec le Machine Learning en Python

Passons à la pratique !

Prédire le CTR avec le Machine Learning en Python

Preparing Video For Download...