Évaluer la performance du modèle

Analytique prédictive avec des données en réseau dans R

María Óskarsdóttir, Ph.D.

Post-doctoral researcher

Produire des prédictions

library(pROC)

logPredictions <- predict(logModel, newdata = test_set, type = "response")

rfPredictions<- predict(rfModel, newdata = test_set, type='prob')
rfPredictions
attr(,"class")

      0     1
C 0.136 0.864
"matrix" "votes"

Probabilité qu'une personne qui résilie choisie au hasard obtienne un score plus élevé qu'une personne qui ne résilie pas choisie au hasard
Affiche le compromis entre la sensibilité et la spécificité du modèle
Une valeur entre :
- 0.5 : modèle aléatoire
- 1 : modèle parfait

library(pROC)
auc(test_set$label, logPredictions)

À quel point le modèle prédit mieux les résiliations qu'un échantillon aléatoire de clients
Calcule la part de véritables résiliataires parmi les 10 % de clients ayant la probabilité de résiliation prédite la plus élevée
Une valeur de lift supérieure à 1 indique que le modèle est meilleur qu'un modèle aléatoire
Si, dans le top 10 % des scores, il y a 60 % de résiliataires et dans toute la population 10 %, alors le lift est $60/10=6$

library(lift)
TopDecileLift(test_set$label, predictions, plot=TRUE)

Analytique prédictive avec des données en réseau dans R