Aplikace hodnocení metrik

Předpovídání CTR pomocí Machine Learning v Pythonu

Kevin Huo

Instructor

Čtyři kategorie výsledků

Příklad čtyř kategorií výsledků v klasifikaci

  • První část kategorie (pravda/nepravda) udává, zda byl model správný
  • Druhá část kategorie (pozitivní/negativní) označuje štítek, který model přiřadil
Předpovídání CTR pomocí Machine Learning v Pythonu

Interpretace čtyř kategorií

  • Pokud model předpovídá kliknutí, je podána nabídka za daný dojem, což stojí peníze
  • Pokud kliknutí není předpovězeno, nenabízí se a nevznikají žádné náklady
  • True positives (TP): zisk (zaplacené dojmy, na které bylo kliknuto).
  • False positives (FP): ztráta (zaplacené dojmy, na které nebylo kliknuto).
  • True negatives (TN): úspora (kliknutí nepředpovězeno, dojmy nekoupeny).
  • False negatives (FN): ušlý zisk (kliknutí nepředpovězeno, ale ve skutečnosti by nastalo).
Předpovídání CTR pomocí Machine Learning v Pythonu

Matice záměn

print(confusion_matrix(y_test, y_pred))

[[8163  166]
 [1517  154]]

# Order: tn, fp, fn, tp
print(confusion_matrix(y_test, y_pred).ravel())

[8163, 166, 1517, 154]
Předpovídání CTR pomocí Machine Learning v Pythonu

Analýza ROI

  • Předpoklad: náklady c a výnos r na X dojmů
total_return = tp * r

total_cost = (tp + fp) * c

tp * r > (tp + fp) * c

roi = total_return / total_spent
Předpovídání CTR pomocí Machine Learning v Pythonu

Pojďme si procvičit!

Předpovídání CTR pomocí Machine Learning v Pythonu

Preparing Video For Download...