Valutare le prestazioni del modello

Analitica predittiva con dati di rete in R

María Óskarsdóttir, Ph.D.

Post-doctoral researcher

Fare previsioni

library(pROC)

logPredictions <- predict(logModel, newdata = test_set, type = "response")

rfPredictions<- predict(rfModel, newdata = test_set, type='prob')
rfPredictions
attr(,"class")

      0     1
C 0.136 0.864
"matrix" "votes"

Probabilità che un churner scelto a caso ottenga un punteggio più alto di un non-churner scelto a caso
Mostra il compromesso tra sensibilità e specificità del modello
Un numero tra:
- 0.5: modello casuale
- 1: modello perfetto

library(pROC)
auc(test_set$label, logPredictions)

Quanto il modello di previsione è migliore nell'identificare i churner rispetto a un campione casuale di clienti
Calcola la quota di churner reali tra il 10% di clienti con la probabilità di churn prevista più alta
Un valore di lift maggiore di 1 indica che il modello è migliore di un modello casuale
Se, nel 10% con i punteggi più alti, ci sono 60% di churner e nell'intera popolazione 10%, allora il lift è $60/10=6$

library(lift)
TopDecileLift(test_set$label, predictions, plot=TRUE)

Analitica predittiva con dati di rete in R