मेट्रिक मूल्यांकन के उपयोग

Python में Machine Learning के साथ CTR प्रेडिक्शन

Kevin Huo

Instructor

परिणामों की चार श्रेणियाँ

वर्गीकरण में चार प्रकार के परिणाम का उदाहरण

श्रेणी का पहला भाग (true/false) बताता है कि मॉडल सही था या नहीं
श्रेणी का दूसरा भाग (positive/negative) बताता है कि मॉडल ने कौन-सा target label लगाया

यदि मॉडल predict करता है कि click होगा, तो उस impression पर bid होती है और लागत लगती है
यदि click predict नहीं हुआ, तो न bidding होती है, न लागत
True positives (TP): कमाई (भुगतान की गई impressions जिन पर click हुआ)।
False positives (FP): नुकसान (भुगतान की गई impressions जिन पर click नहीं हुआ)।
True negatives (TN): बचत (click predict नहीं हुआ, इसलिए impressions नहीं खरीदे)।
False negatives (FN): छूटा हुआ लाभ (click predict नहीं हुआ, पर असल में click होता)।

print(confusion_matrix(y_test, y_pred))

[[8163  166]
 [1517  154]]

# Order: tn, fp, fn, tp
print(confusion_matrix(y_test, y_pred).ravel())

[8163, 166, 1517, 154]

total_return = tp * r

total_cost = (tp + fp) * c

tp * r > (tp + fp) * c

roi = total_return / total_spent

Python में Machine Learning के साथ CTR प्रेडिक्शन