मॉडल मूल्यांकन

Python में Machine Learning के साथ CTR प्रेडिक्शन

Kevin Huo

Instructor

Precision और Recall

  • Precision: क्लिक का अनुपात, कुल impressions के सापेक्ष, TP / (TP + FP)
    • अधिक precision का मतलब ad spend पर उच्च ROI
  • Recall: उपलब्ध सभी क्लिक्स में से हासिल किए गए क्लिक्स का अनुपात, TP / (TP + FN)
    • अधिक recall का मतलब प्रासंगिक ऑडियंस का बेहतर targeting
Python में Machine Learning के साथ CTR प्रेडिक्शन

Precision और Recall की गणना

print(precision_score(
  y_test, y_pred, average = 'weighted'))

0.73

print(recall_score(
  y_test, y_pred, average = 'weighted'))

0.75
Python में Machine Learning के साथ CTR प्रेडिक्शन

Baseline classifiers

  • उपयुक्त baseline के सापेक्ष classifiers का मूल्यांकन करना जरूरी है
    • यहाँ baseline, click डेटा के असंतुलन के कारण, वह classifier है जो हमेशा no click की भविष्यवाणी करता है
y_pred = np.asarray([0 for x in range(len(X_test))])

[[0]
 [0] ...]
Python में Machine Learning के साथ CTR प्रेडिक्शन

ROI विश्लेषण पर प्रभाव

  • Baseline classifier के लिए tp और fp शून्य होंगे
  • इसलिए total return और total spend शून्य होंगे, और ROI अपरिभाषित रहेगा
  • Confusion matrix के लिए confusion_matrix() और चार outcomes पाने के लिए ravel() का उपयोग करें
    total_return = tp * r
total_spent = (tp + fp) * cost
roi = total_return / total_spent
Python में Machine Learning के साथ CTR प्रेडिक्शन

अभ्यास करते हैं!

Python में Machine Learning के साथ CTR प्रेडिक्शन

Preparing Video For Download...