การประเมินโมเดล

การพยากรณ์ CTR ด้วย Machine Learning ใน Python

Kevin Huo

Instructor

Precision และ Recall

  • Precision: สัดส่วนของคลิกเทียบกับจำนวน impression ทั้งหมด TP / (TP + FP)
    • Precision สูงขึ้น หมายถึง ROI จากค่าโฆษณาที่ดีขึ้น
  • Recall: สัดส่วนของคลิกที่ได้รับจากคลิกทั้งหมดที่มี TP / (TP + FN)
    • Recall สูงขึ้น หมายถึงการเข้าถึงกลุ่มเป้าหมายที่แม่นยำขึ้น
การพยากรณ์ CTR ด้วย Machine Learning ใน Python

การคำนวณ Precision และ Recall

print(precision_score(
  y_test, y_pred, average = 'weighted'))

0.73

print(recall_score(
  y_test, y_pred, average = 'weighted'))

0.75
การพยากรณ์ CTR ด้วย Machine Learning ใน Python

Baseline Classifier

  • การประเมิน classifier โดยเทียบกับ baseline ที่เหมาะสมเป็นสิ่งสำคัญ
    • เนื่องจากข้อมูลคลิกมีความไม่สมดุล baseline ที่ใช้คือ classifier ที่ทำนายว่าไม่มีคลิกเสมอ
y_pred = np.asarray([0 for x in range(len(X_test))])

[[0]
 [0] ...]
การพยากรณ์ CTR ด้วย Machine Learning ใน Python

ผลกระทบต่อการวิเคราะห์ ROI

  • สำหรับ baseline classifier ค่า tp และ fp จะเป็นศูนย์
  • ดังนั้น ผลตอบแทนรวมและค่าใช้จ่ายรวมจะเป็นศูนย์ และ ROI จะไม่มีค่า
  • ใช้ confusion matrix ผ่าน confusion_matrix() ร่วมกับ ravel() เพื่อดึงผลลัพธ์ทั้ง 4 ประเภท
    total_return = tp * r
total_spent = (tp + fp) * cost
roi = total_return / total_spent
การพยากรณ์ CTR ด้วย Machine Learning ใน Python

มาฝึกกันเถอะ!

การพยากรณ์ CTR ด้วย Machine Learning ใน Python

Preparing Video For Download...