Avaliando o desempenho do modelo

Análise Preditiva com Dados em Rede em R

María Óskarsdóttir, Ph.D.

Post-doctoral researcher

Fazendo previsões

library(pROC)

logPredictions <- predict(logModel, newdata = test_set, type = "response")

rfPredictions<- predict(rfModel, newdata = test_set, type='prob')
rfPredictions
attr(,"class")

      0     1
C 0.136 0.864
"matrix" "votes"

Probabilidade de um churner aleatório ter pontuação maior que um não churner aleatório
Mostra o equilíbrio entre sensibilidade e especificidade do modelo
Um número entre:
- 0.5: modelo aleatório
- 1: modelo perfeito

library(pROC)
auc(test_set$label, logPredictions)

O quanto o modelo é melhor para identificar churners em comparação a uma amostra aleatória de clientes
Calcula a proporção de churners reais entre os 10% de clientes com maior probabilidade prevista de churn
Valor de lift maior que 1 indica que o modelo supera um modelo aleatório
Se, nos 10% maiores escores houver 60% de churners e na população toda houver 10%, então o lift é $60/10=6$

library(lift)
TopDecileLift(test_set$label, predictions, plot=TRUE)

Análise Preditiva com Dados em Rede em R