Оценка производительности модели

Прогнозная аналитика на основе сетевых данных в R

María Óskarsdóttir, Ph.D.

Post-doctoral researcher

Получение предсказаний

library(pROC)

logPredictions <- predict(logModel, newdata = test_set, type = "response")

rfPredictions<- predict(rfModel, newdata = test_set, type='prob')
rfPredictions
attr(,"class")

      0     1
C 0.136 0.864
"matrix" "votes"

Вероятность того, что случайно выбранный клиент-отточник получит более высокий балл, чем случайно выбранный лояльный клиент
Отражает соотношение между чувствительностью и специфичностью модели
Значение от:
- 0,5: случайная модель
- 1: идеальная модель

library(pROC)
auc(test_set$label, logPredictions)

Насколько модель лучше случайной выборки клиентов в определении оттока
Вычисляет долю реальных клиентов-отточников среди 10% клиентов с наибольшей предсказанной вероятностью оттока
Значение подъёма больше 1 означает, что модель лучше случайной
Если в топ-10% наибольших оценок 60% отточников, а во всей популяции их 10%, то подъём равен $60/10=6$

library(lift)
TopDecileLift(test_set$label, predictions, plot=TRUE)

Прогнозная аналитика на основе сетевых данных в R