Hodnocení výkonu modelu

Prediktivní analytika pomocí síťových dat v R

María Óskarsdóttir, Ph.D.

Post-doctoral researcher

Tvorba predikcí

library(pROC)

logPredictions <- predict(logModel, newdata = test_set, type = "response")

rfPredictions<- predict(rfModel, newdata = test_set, type='prob')
rfPredictions
attr(,"class")

      0     1
C 0.136 0.864
"matrix" "votes"

Pravděpodobnost, že náhodně vybraný odcházející zákazník získá vyšší skóre než náhodně vybraný neodcházející zákazník
Zobrazuje kompromis mezi citlivostí a specificitou modelu
Číslo v rozsahu:
- 0,5: náhodný model
- 1: dokonalý model

library(pROC)
auc(test_set$label, logPredictions)

O kolik lépe model identifikuje odcházející zákazníky ve srovnání s náhodným výběrem
Vypočítá podíl skutečně odcházejících zákazníků v 10 % zákazníků s nejvyšší predikovanou pravděpodobností odchodu
Hodnota liftu větší než 1 znamená, že model je lepší než náhodný model
Pokud je v horních 10 % nejvyšších skóre 60 % odcházejících zákazníků a v celé populaci 10 %, pak lift je $60/10=6$

library(lift)
TopDecileLift(test_set$label, predictions, plot=TRUE)

Prediktivní analytika pomocí síťových dat v R