Aplicații ale evaluării metricilor

Predicția CTR cu Machine Learning în Python

Kevin Huo

Instructor

Patru categorii de rezultate

Exemplu cu patru categorii de rezultate în clasificare

  • Prima parte a categoriei (adevărat/fals) indică dacă modelul a fost corect sau nu
  • A doua parte a categoriei (pozitiv/negativ) reprezintă eticheta țintă aplicată de model
Predicția CTR cu Machine Learning în Python

Interpretarea celor patru categorii

  • Dacă modelul prezice un clic, se licitează pentru acea impresie, ceea ce implică un cost
  • Dacă nu se prezice niciun clic, nu se licitează și nu există costuri
  • True positives (TP): bani câștigați (impresii plătite pentru care s-a dat clic).
  • False positives (FP): bani pierduți (impresii plătite pentru care nu s-a dat clic).
  • True negatives (TN): bani economisiți (niciun clic prezis, deci nicio impresie cumpărată).
  • False negatives (FN): venituri ratate (niciun clic prezis, dar în realitate ar fi existat un clic).
Predicția CTR cu Machine Learning în Python

Matricea de confuzie

print(confusion_matrix(y_test, y_pred))

[[8163  166]
 [1517  154]]

# Order: tn, fp, fn, tp
print(confusion_matrix(y_test, y_pred).ravel())

[8163, 166, 1517, 154]
Predicția CTR cu Machine Learning în Python

Analiza ROI

  • Presupunem: un cost c și un randament r per X impresii
total_return = tp * r

total_cost = (tp + fp) * c

tp * r > (tp + fp) * c

roi = total_return / total_spent
Predicția CTR cu Machine Learning în Python

Să exersăm!

Predicția CTR cu Machine Learning în Python

Preparing Video For Download...