Modellutvärdering

Förutsäga CTR med maskininlärning i Python

Kevin Huo

Instructor

Precision och recall

  • Precision: andelen klick av totalt antal visningar, TP / (TP + FP)
    • Högre precision ger högre ROI på annonskostnaden
  • Recall: andelen klick som fångades av alla tillgängliga klick, TP / (TP + FN)
    • Högre recall innebär bättre träffsäkerhet mot relevant målgrupp
Förutsäga CTR med maskininlärning i Python

Beräkna precision och recall

print(precision_score(
  y_test, y_pred, average = 'weighted'))

0.73

print(recall_score(
  y_test, y_pred, average = 'weighted'))

0.75
Förutsäga CTR med maskininlärning i Python

Baslinjemodeller

  • Det är viktigt att utvärdera klassificerare mot en lämplig baslinje
    • Baslinjen här, på grund av klickdatans obalanserade natur, är en klassificerare som alltid förutsäger inget klick
y_pred = np.asarray([0 for x in range(len(X_test))])

[[0]
 [0] ...]
Förutsäga CTR med maskininlärning i Python

Konsekvenser för ROI-analys

  • För baslinjemodellen är tp och fp noll
  • Därför blir total avkastning och total kostnad noll, och ROI odefinierat
  • Beräkna konfusionsmatrisen med confusion_matrix() och ravel() för att få de fyra utfallskategorierna
    total_return = tp * r
total_spent = (tp + fp) * cost
roi = total_return / total_spent
Förutsäga CTR med maskininlärning i Python

Nu kör vi en övning!

Förutsäga CTR med maskininlärning i Python

Preparing Video For Download...