Évaluation du modèle

Prédire le CTR avec le Machine Learning en Python

Kevin Huo

Instructor

Précision et rappel

  • Précision : RSI des dépenses pub via les clics

    • Faible précision : très peu de RSI réel sur les clics

  • Rappel : cibler un public pertinent

    • Faible rappel : occasions de RSI manquées

  • Il peut être pertinent de pondérer les deux différemment

    • Les entreprises veulent souvent éviter une faible précision plus qu'un faible rappel
Prédire le CTR avec le Machine Learning en Python

Mesure F-bêta

$$F_\beta = (1+\beta^2)\cdot\frac{\text{precision}\cdot\text{recall}}{(\beta^2 \cdot \text{precision}) + \text{recall}}$$

  • Coefficient bêta : pondération relative des deux mesures

    • Bêta entre 0 et 1 : la précision est réduite donc plus pondérée ; bêta > 1 : la précision est accrue donc moins pondérée

  • Implémentation disponible dans sklearn : fbeta_score(y_true, y_pred, beta=beta)

    • y_true : cibles réelles ; y_pred : cibles prédites
Prédire le CTR avec le Machine Learning en Python

AUC de la courbe ROC vs précision

roc_auc = roc_auc_score(y_test, y_score[:, 1])

fpr = 1 - tn / (tn + fp)
precision = tp / (tp + fp)
  • Ensemble déséquilibré : fpr peut être faible alors que la precision est aussi faible.
  • Supposons 100 VN, et 10 VP et 10 FP.
fpr = 1 - 100 / (100 + 10) = 0.091
precision = tp / (tp + fp) = 0.5
  • Un FPR faible peut donner une AUC de courbe ROC élevée, même si la précision est faible ! Il faut donc examiner les deux mesures, ainsi que le F-beta score.
Prédire le CTR avec le Machine Learning en Python

RSI des dépenses publicitaires

  • Même idée qu'avant : un coût c et un rendement r

total_return = tp * r

total_spent = (tp + fp) * cost

roi = total_return / total_spent = (tp) / (tp + fp) (r / cost) = precision (r / cost)

Prédire le CTR avec le Machine Learning en Python

Passons à la pratique !

Prédire le CTR avec le Machine Learning en Python

Preparing Video For Download...