Оцінювання якості моделі

Прогнозна аналітика з мережевими даними в R

María Óskarsdóttir, Ph.D.

Post-doctoral researcher

Створення прогнозів

library(pROC)

logPredictions <- predict(logModel, newdata = test_set, type = "response")

rfPredictions<- predict(rfModel, newdata = test_set, type='prob')
rfPredictions
attr(,"class")

      0     1
C 0.136 0.864
"matrix" "votes"

Імовірність, що випадково вибраний відтікник отримає вищий бал, ніж випадково вибраний не-відтікник
Показує компроміс між чутливістю та специфічністю моделі
Число між:
- 0.5: випадкова модель
- 1: досконала модель

library(pROC)
auc(test_set$label, logPredictions)

Наскільки краще модель визначає відтікників порівняно з випадковою вибіркою клієнтів
Обчислює частку справжніх відтікників серед 10% клієнтів із найвищою прогнозованою імовірністю відтоку
Значення lift понад 1 означає, що модель краща за випадкову
Якщо у топ-10% найвищих балів 60% відтікників, а в усій популяції 10%, то lift дорівнює $60/10=6$

library(lift)
TopDecileLift(test_set$label, predictions, plot=TRUE)

Прогнозна аналітика з мережевими даними в R