Evaluarea performanței modelului

Analiză predictivă folosind date de rețea în R

María Óskarsdóttir, Ph.D.

Post-doctoral researcher

Generarea predicțiilor

library(pROC)

logPredictions <- predict(logModel, newdata = test_set, type = "response")

rfPredictions<- predict(rfModel, newdata = test_set, type='prob')
rfPredictions
attr(,"class")

      0     1
C 0.136 0.864
"matrix" "votes"

Probabilitatea ca un client care renunță ales aleatoriu să obțină un scor mai mare decât unul care nu renunță
Ilustrează compromisul dintre sensibilitatea și specificitatea modelului
O valoare cuprinsă între:
- 0.5: model aleatoriu
- 1: model perfect

library(pROC)
auc(test_set$label, logPredictions)

Măsoară cât de bine identifică modelul clienții care renunță față de un eșantion aleatoriu
Calculează proporția clienților care renunță în top 10% cu cea mai mare probabilitate de renunțare
O valoare a lift-ului mai mare decât 1 indică un model superior celui aleatoriu
Dacă în top 10% sunt 60% clienți care renunță, iar în întreaga populație sunt 10%, atunci lift-ul este $60/10=6$

library(lift)
TopDecileLift(test_set$label, predictions, plot=TRUE)

Analiză predictivă folosind date de rețea în R