Tillämpningar av metrisk utvärdering

Förutsäga CTR med maskininlärning i Python

Kevin Huo

Instructor

Fyra kategorier av utfall

Exempel på fyra kategorier av utfall vid klassificering

  • Den första delen av kategorin (sant/falskt) anger om modellen hade rätt eller fel
  • Den andra delen av kategorin (positivt/negativt) anger den måletikett modellen tilldelade
Förutsäga CTR med maskininlärning i Python

Tolkning av de fyra kategorierna

  • Om modellen förutsäger ett klick läggs ett bud på den visningen, vilket kostar pengar
  • Om inget klick förutsägs läggs inget bud och det uppstår ingen kostnad
  • Sanna positiva (TP): intjänade pengar (visningar som betalades för och klickades på).
  • Falska positiva (FP): förlorade pengar (visningar som betalades för men inte klickades på).
  • Sanna negativa (TN): sparade pengar (inget klick förutsågs så inga visningar köptes).
  • Falska negativa (FN): uteblivna intäkter (inget klick förutsågs, men ett klick hade skett i verkligheten).
Förutsäga CTR med maskininlärning i Python

Förvirringsmatris

print(confusion_matrix(y_test, y_pred))

[[8163  166]
 [1517  154]]

# Order: tn, fp, fn, tp
print(confusion_matrix(y_test, y_pred).ravel())

[8163, 166, 1517, 154]
Förutsäga CTR med maskininlärning i Python

ROI-analys

  • Antag: en kostnad c och en avkastning r per X antal visningar
total_return = tp * r

total_cost = (tp + fp) * c

tp * r > (tp + fp) * c

roi = total_return / total_spent
Förutsäga CTR med maskininlärning i Python

Nu kör vi en övning!

Förutsäga CTR med maskininlärning i Python

Preparing Video For Download...