Penerapan evaluasi metrik

Memprediksi CTR dengan Machine Learning di Python

Kevin Huo

Instructor

Empat kategori hasil

Contoh empat kategori hasil dalam klasifikasi

  • Bagian pertama (true/false) menunjukkan apakah model benar atau salah
  • Bagian kedua (positive/negative) menunjukkan label target yang diprediksi model
Memprediksi CTR dengan Machine Learning di Python

Makna keempat kategori

  • Jika model memprediksi ada klik, maka ada bid untuk impresi itu yang berbiaya
  • Jika tidak memprediksi klik, tidak ada bid sehingga tidak ada biaya
  • True positives (TP): uang diperoleh (impresi berbayar yang diklik).
  • False positives (FP): uang hilang (impresi berbayar yang tidak diklik).
  • True negatives (TN): uang dihemat (tidak memprediksi klik sehingga tidak beli impresi).
  • False negatives (FN): peluang hilang (tidak memprediksi klik, padahal sebenarnya ada klik).
Memprediksi CTR dengan Machine Learning di Python

Confusion matrix

print(confusion_matrix(y_test, y_pred))

[[8163  166]
 [1517  154]]

# Order: tn, fp, fn, tp
print(confusion_matrix(y_test, y_pred).ravel())

[8163, 166, 1517, 154]
Memprediksi CTR dengan Machine Learning di Python

Analisis ROI

  • Asumsi: ada biaya c dan hasil r per sejumlah impresi
total_return = tp * r

total_cost = (tp + fp) * c

tp * r > (tp + fp) * c

roi = total_return / total_spent
Memprediksi CTR dengan Machine Learning di Python

Ayo berlatih!

Memprediksi CTR dengan Machine Learning di Python

Preparing Video For Download...