मॉडल परफॉर्मेंस का मूल्यांकन

R में नेटवर्क्ड डेटा का उपयोग करके Predictive Analytics

María Óskarsdóttir, Ph.D.

Post-doctoral researcher

प्रीडिक्शन बनाना

library(pROC)

logPredictions <- predict(logModel, newdata = test_set, type = "response")

rfPredictions<- predict(rfModel, newdata = test_set, type='prob')
rfPredictions
attr(,"class")

      0     1
C 0.136 0.864
"matrix" "votes"

यादृच्छिक रूप से चुने गए churner के स्कोर के, यादृच्छिक non-churner से अधिक होने की प्रायिकता
मॉडल की sensitivity और specificity के बीच trade-off दिखाता है
मान इनके बीच होता है:
- 0.5: रैंडम मॉडल
- 1: परफेक्ट मॉडल

library(pROC)
auc(test_set$label, logPredictions)

रैंडम ग्राहकों की तुलना में मॉडल churners को पहचानने में कितना बेहतर है
उन ग्राहकों के टॉप 10% में वास्तविक churners का अनुपात निकालता है, जिनकी predicted churn probability सबसे अधिक है
Lift का मान 1 से बड़ा हो तो मॉडल रैंडम मॉडल से बेहतर है
यदि टॉप 10% उच्चतम स्कोर में 60% churners हैं और पूरी population में 10% churners हैं, तो lift $60/10=6$ है

library(lift)
TopDecileLift(test_set$label, predictions, plot=TRUE)

R में नेटवर्क्ड डेटा का उपयोग करके Predictive Analytics