Ocena wydajności modelu

Predykcyjna analityka sieciowa w R

María Óskarsdóttir, Ph.D.

Post-doctoral researcher

Generowanie prognoz

library(pROC)

logPredictions <- predict(logModel, newdata = test_set, type = "response")

rfPredictions<- predict(rfModel, newdata = test_set, type='prob')
rfPredictions
attr(,"class")

      0     1
C 0.136 0.864
"matrix" "votes"

Prawdopodobieństwo, że losowo wybrany klient odchodzący uzyska wyższy wynik niż losowo wybrany klient pozostający
Przedstawia kompromis między czułością a swoistością modelu
Liczba z przedziału:
- 0,5: model losowy
- 1: model doskonały

library(pROC)
auc(test_set$label, logPredictions)

Wskazuje, o ile model lepiej identyfikuje klientów odchodzących niż próbka losowa
Oblicza odsetek rzeczywistych klientów odchodzących wśród 10% klientów z najwyższym przewidywanym prawdopodobieństwem odejścia
Wartość dźwigni większa niż 1 oznacza, że model jest lepszy od modelu losowego
Jeśli wśród 10% najwyżej ocenionych klientów 60% odchodzi, a w całej populacji 10%, to dźwignia wynosi $60/10=6$

library(lift)
TopDecileLift(test_set$label, predictions, plot=TRUE)

Predykcyjna analityka sieciowa w R