Vyhodnocení modelu

Předpovídání CTR pomocí Machine Learning v Pythonu

Kevin Huo

Instructor

Přesnost a úplnost

  • Přesnost: podíl kliknutí k celkovému počtu zobrazení, TP / (TP + FP)
    • Vyšší přesnost znamená vyšší ROI výdajů na reklamu
  • Úplnost: podíl získaných kliknutí ze všech dostupných kliknutí, TP / (TP + FN)
    • Vyšší úplnost znamená lepší zacílení na relevantní publikum
Předpovídání CTR pomocí Machine Learning v Pythonu

Výpočet přesnosti a úplnosti

print(precision_score(
  y_test, y_pred, average = 'weighted'))

0.73

print(recall_score(
  y_test, y_pred, average = 'weighted'))

0.75
Předpovídání CTR pomocí Machine Learning v Pythonu

Základní klasifikátory

  • Klasifikátory je důležité vyhodnocovat vůči vhodnému základnímu modelu
    • Základním modelem je zde, kvůli nevyvážené povaze dat o kliknutích, klasifikátor, který vždy předpovídá žádné kliknutí
y_pred = np.asarray([0 for x in range(len(X_test))])

[[0]
 [0] ...]
Předpovídání CTR pomocí Machine Learning v Pythonu

Dopad na analýzu ROI

  • U základního klasifikátoru budou tp a fp rovny nule
  • Celkový výnos i celkové výdaje tedy budou nulové a ROI nebude definováno
  • Matice záměn pomocí confusion_matrix() a ravel() pro získání čtyř kategorií výsledků
    total_return = tp * r
total_spent = (tp + fp) * cost
roi = total_return / total_spent
Předpovídání CTR pomocí Machine Learning v Pythonu

Pojďme si procvičit!

Předpovídání CTR pomocí Machine Learning v Pythonu

Preparing Video For Download...