Đánh giá mô hình

Dự đoán CTR với Machine Learning trong Python

Kevin Huo

Instructor

Precision và recall

  • Precision: tỷ lệ số lần nhấp so với tổng số lần hiển thị, TP / (TP + FP)
    • Precision cao hơn nghĩa là ROI cho chi tiêu quảng cáo cao hơn
  • Recall: tỷ lệ số lần nhấp thu được trên tổng số lần nhấp có thể có, TP / (TP + FN)
    • Recall cao hơn nghĩa là nhắm đúng đối tượng hơn
Dự đoán CTR với Machine Learning trong Python

Tính precision và recall

print(precision_score(
  y_test, y_pred, average = 'weighted'))

0.73

print(recall_score(
  y_test, y_pred, average = 'weighted'))

0.75
Dự đoán CTR với Machine Learning trong Python

Bộ phân loại cơ sở

  • Cần đánh giá bộ phân loại so với một đường cơ sở phù hợp
    • Ở đây, do dữ liệu nhấp mất cân bằng, đường cơ sở là mô hình luôn dự đoán không nhấp
y_pred = np.asarray([0 for x in range(len(X_test))])

[[0]
 [0] ...]
Dự đoán CTR với Machine Learning trong Python

Hệ quả đối với phân tích ROI

  • Với bộ phân loại cơ sở, tp và fp sẽ bằng 0
  • Do đó tổng lợi nhuận và tổng chi tiêu bằng 0, ROI không xác định
  • Ma trận nhầm lẫn qua confusion_matrix() cùng ravel() để lấy 4 loại kết quả
    total_return = tp * r
total_spent = (tp + fp) * cost
roi = total_return / total_spent
Dự đoán CTR với Machine Learning trong Python

Cùng luyện tập!

Dự đoán CTR với Machine Learning trong Python

Preparing Video For Download...