Evaluarea modelului

Predicția CTR cu Machine Learning în Python

Kevin Huo

Instructor

Precizie și rată de recuperare

Precizie: proporția de clicuri față de numărul total de impresii, TP / (TP + FP)
- O precizie mai mare înseamnă un ROI mai bun al cheltuielilor publicitare
Rată de recuperare: proporția de clicuri obținute din totalul clicurilor disponibile, TP / (TP + FN)
- O rată de recuperare mai mare înseamnă o targetare mai bună a audienței relevante

print(precision_score(
  y_test, y_pred, average = 'weighted'))

0.73

print(recall_score(
  y_test, y_pred, average = 'weighted'))

0.75

Este important să se evalueze clasificatorii față de o referință adecvată
- Referința, datorită naturii dezechilibrate a datelor de clicuri, este un clasificator care prezice întotdeauna lipsa clicului

y_pred = np.asarray([0 for x in range(len(X_test))])

[[0]
 [0] ...]

Pentru clasificatorul de referință, tp și fp vor fi zero
Prin urmare, venitul total și cheltuielile totale vor fi zero, iar ROI-ul nedefinit
Matricea de confuzie prin confusion_matrix() împreună cu ravel() pentru a obține cele patru categorii de rezultate
```
total_return = tp * r
total_spent = (tp + fp) * cost
roi = total_return / total_spent
```

Predicția CTR cu Machine Learning în Python