Model performansını değerlendirme

R ile Ağ Verileri Kullanarak Predictive Analytics

María Óskarsdóttir, Ph.D.

Post-doctoral researcher

Tahmin yapmak

library(pROC)

logPredictions <- predict(logModel, newdata = test_set, type = "response")

rfPredictions<- predict(rfModel, newdata = test_set, type='prob')
rfPredictions
attr(,"class")

      0     1
C 0.136 0.864
"matrix" "votes"

Rastgele seçilen bir churn kullanıcısının skoru, rastgele seçilen churn olmayan birinden yüksek olma olasılığı
Modelin duyarlılık ve özgüllük arasındaki ödünleşimi gösterir
Şu aralıkta bir sayı:
- 0.5: rastgele model
- 1: kusursuz model

library(pROC)
auc(test_set$label, logPredictions)

Tahmin modeli, rastgele bir müşteri örneğine göre churn kullanıcılarını ne kadar daha iyi yakalıyor
En yüksek tahmini churn olasılığına sahip müşterilerin %10'u içinde, gerçek churn oranını hesaplar
Lift'in 1'den büyük olması, modelin rastgele bir modelden daha iyi olduğunu gösterir
En yüksek %10'luk dilimde %60 churn ve tüm popülasyonda %10 churn varsa, lift $60/10=6$ olur

library(lift)
TopDecileLift(test_set$label, predictions, plot=TRUE)

R ile Ağ Verileri Kullanarak Predictive Analytics