Utvärdering av modellprestanda

Prediktiv analys med nätverksdata i R

María Óskarsdóttir, Ph.D.

Post-doctoral researcher

Göra prediktioner

library(pROC)

logPredictions <- predict(logModel, newdata = test_set, type = "response")

rfPredictions<- predict(rfModel, newdata = test_set, type='prob')
rfPredictions
attr(,"class")

      0     1
C 0.136 0.864
"matrix" "votes"

Sannolikheten att en slumpmässigt vald churner får högre poäng än en slumpmässigt vald icke-churner
Visar avvägningen mellan modellens känslighet och specificitet
Ett tal mellan:
- 0,5: slumpmässig modell
- 1: perfekt modell

library(pROC)
auc(test_set$label, logPredictions)

Hur mycket bättre modellen identifierar churners jämfört med ett slumpmässigt urval av kunder
Beräknar andelen faktiska churners bland de 10 % av kunderna med högst förutsagd churnprobabilitet
Ett liftvärde större än 1 innebär att modellen är bättre än en slumpmässig modell
Om de 10 % med högst poäng innehåller 60 % churners och andelen i hela populationen är 10 %, blir lift $60/10=6$

library(lift)
TopDecileLift(test_set$label, predictions, plot=TRUE)

Prediktiv analys med nätverksdata i R