Evaluasi model

Memprediksi CTR dengan Machine Learning di Python

Kevin Huo

Instructor

Precision dan recall

  • Precision: proporsi klik dibanding total impresi, TP / (TP + FP)
    • Precision lebih tinggi berarti ROI iklan lebih tinggi
  • Recall: proporsi klik yang tertangkap dari semua klik yang ada, TP / (TP + FN)
    • Recall lebih tinggi berarti penargetan audiens relevan lebih baik
Memprediksi CTR dengan Machine Learning di Python

Menghitung precision dan recall

print(precision_score(
  y_test, y_pred, average = 'weighted'))

0.73

print(recall_score(
  y_test, y_pred, average = 'weighted'))

0.75
Memprediksi CTR dengan Machine Learning di Python

Classifier baseline

  • Penting untuk mengevaluasi classifier terhadap baseline yang tepat
    • Baseline di sini, karena data klik tidak seimbang, adalah classifier yang selalu memprediksi tidak ada klik
y_pred = np.asarray([0 for x in range(len(X_test))])

[[0]
 [0] ...]
Memprediksi CTR dengan Machine Learning di Python

Implikasi pada analisis ROI

  • Untuk classifier baseline, tp dan fp bernilai nol
  • Maka total return dan total spend bernilai nol, dan ROI tidak terdefinisi
  • Confusion matrix via confusion_matrix() bersama ravel() untuk mendapatkan empat kategori keluaran
    total_return = tp * r
total_spent = (tp + fp) * cost
roi = total_return / total_spent
Memprediksi CTR dengan Machine Learning di Python

Ayo berlatih!

Memprediksi CTR dengan Machine Learning di Python

Preparing Video For Download...