आउट-ऑफ-सैंपल वैलिडेशन और क्रॉस-वैलिडेशन
R में Marketing Analytics के लिए Machine Learning
Verena Pflieger
Data Scientist at INWT Statistics
आउट-ऑफ-सैंपल फिट: training और test डेटा
1) डेटासेट को training और test डेटा में बाँटें
# Generating random index for training and test set
# set.seed ensures reproducibility of random components
set.seed(534381)
churnData$isTrain <- rbinom(nrow(churnData), 1, 0.66)
train <- subset(churnData, churnData$isTrain == 1)
test <- subset(churnData, churnData$isTrain == 0)
आउट-ऑफ-सैंपल फिट: मॉडल बनाना
2) training डेटा पर मॉडल बनाएँ
# Modeling logitTrainNew
logitTrainNew <- glm( returnCustomer ~ title + newsletter +
websiteDesign + paymentMethod + couponDiscount +
purchaseValue + throughAffiliate +
shippingFees + dvd + blueray + vinyl +
videogameDownload + prodOthers + prodRemitted,
family = binomial, data = train)
# Out-of-sample prediction for logitTrainNew
test$predNew <- predict(logitTrainNew, type = "response",
newdata = test)
आउट-ऑफ-सैंपल accuracy
# Calculating the confusion matrix
confMatrixNew <- confusion.matrix(test$returnCustomer, test$predNew,
threshold = 0.3)
confMatrixNew
# Calculating the accuracy
accuracyNew <- sum(diag(confMatrixNew)) / sum(confMatrixNew)
accuracyNew
obs
pred 0 1
0 11939 2449
1 716 350
0.7951987
क्रॉस-वैलिडेशन: सेटअप
क्रॉस-वैलिडेशन: accuracy
क्रॉस-वैलिडेटेड accuracy की गणना
library(boot)
# Accuracy function with threshold = 0.3
Acc03 <- function(r, pi = 0) {
cm <- confusion.matrix(r, pi, threshold = 0.3)
acc <- sum(diag(cm)) / sum(cm)
return(acc)}
# Accuracy
set.seed(534381)
cv.glm(churnData, logitModelNew, cost = Acc03, K = 6)$delta
0.7943894
| लॉजिस्टिक रिग्रेशन से सीखें | |
|---|---|
| आपने सीखा... | ऑनलाइन शॉप के वे ग्राहक कौन हैं जो churn कर सकते हैं, यह predict करना |
| बाइनरी लॉजिस्टिक रिग्रेशन से probabilities निकालना | |
| कि threshold का चुनाव महत्वपूर्ण है |
| मॉडल से सीखें | |
|---|---|
| आपने सीखा... | कि newsletter के लिए साइन-अप करने वाले ग्राहक लौटने की अधिक संभावना रखते हैं |
| कि coupon इस्तेमाल करने वाले ग्राहकों के लौटने की संभावना कम है | |
| कि बिना shipping fees वाले ग्राहकों के लौटने की संभावना अधिक है | |
| आदि... |
आखिरी अभ्यास!
R में Marketing Analytics के लिए Machine Learning
