Зачем нужна логистическая регрессия

Введение в регрессию на R

Richie Cotton

Data Evangelist at DataCamp

Набор данных об оттоке клиентов банка

has_churned	time_since_first_purchase	time_since_last_purchase
0	0.3993247	-0.5158691
1	-0.4297957	0.6780654
0	3.7383122	0.4082544
0	0.6032289	-0.6990435
...	...	...
response	length of relationship	recency of activity

¹ https://www.rdocumentation.org/packages/bayesQR/topics/Churn

Отток и давность покупки: линейная модель

mdl_churn_vs_recency_lm <- lm(has_churned ~ time_since_last_purchase, data = churn)

Call:
lm(formula = has_churned ~ time_since_last_purchase, data = churn)

Coefficients:
             (Intercept)  time_since_last_purchase  
                 0.49078                   0.06378

coeffs <- coefficients(mdl_churn_vs_recency_lm)
intercept <- coeffs[1]
slope <- coeffs[2]

Визуализация линейной модели

ggplot(
  churn, 
  aes(time_since_last_purchase, has_churned)
) +
  geom_point() +
  geom_abline(intercept = intercept, slope = slope)

Предсказания — это вероятности оттока, а не его величина.

Диаграмма рассеяния: ушёл ли клиент в зависимости от времени с последней покупки. Все точки находятся на линиях y = 0 или y = 1. Линейная линия тренда показывает рост вероятности оттока с увеличением времени с последней покупки.

Масштабирование

ggplot(
  churn, 
  aes(days_since_last_purchase, has_churned)
) +
  geom_point() +
  geom_abline(intercept = intercept, slope = slope) +
  xlim(-10, 10) +
  ylim(-0.2, 1.2)

Диаграмма рассеяния: ушёл ли клиент в зависимости от времени с последней покупки. Оси увеличены по сравнению с предыдущим графиком — видно, что линия тренда выходит ниже y = 0 и выше y = 1, что недопустимо.

Что такое логистическая регрессия?

Ещё один тип обобщённой линейной модели.
Применяется, когда зависимая переменная логическая.
Отклики описываются логистической (S-образной) кривой.

Линейная регрессия с помощью glm()

glm(has_churned ~ time_since_last_purchase, data = churn, family = gaussian)

Call:  glm(formula = has_churned ~ time_since_last_purchase, family = gaussian, 
    data = churn)

Coefficients:
             (Intercept)  time_since_last_purchase  
                 0.49078                   0.06378  

Degrees of Freedom: 399 Total (i.e. Null);  398 Residual
Null Deviance:        100 
Residual Deviance: 98.02     AIC: 578.7

Логистическая регрессия: glm() с семейством binomial

mdl_recency_glm <- glm(has_churned ~ time_since_last_purchase, data = churn, family = binomial)

Call:  glm(formula = has_churned ~ time_since_last_purchase, family = binomial, 
    data = churn)

Coefficients:
             (Intercept)  time_since_last_purchase  
                -0.03502                   0.26921  

Degrees of Freedom: 399 Total (i.e. Null);  398 Residual
Null Deviance:        554.5 
Residual Deviance: 546.4     AIC: 550.4

Визуализация логистической модели

ggplot(
  churn, 
  aes(time_since_last_purchase, has_churned)
) +
  geom_point() +
  geom_abline(
    intercept = intercept, slope = slope
  ) +
  geom_smooth(
    method = "glm", 
    se = FALSE, 
    method.args = list(family = binomial)
  )

Диаграмма рассеяния: ушёл ли клиент в зависимости от времени с последней покупки. Показаны линейная и логистическая линии тренда — обе указывают на рост вероятности оттока. Линии близки друг к другу, кроме области больших значений времени с последней покупки.

Масштабирование

Диаграмма рассеяния: ушёл ли клиент в зависимости от времени с последней покупки, с обеими линиями тренда. Оси увеличены по сравнению с предыдущим графиком — логистическая линия тренда не выходит за пределы диапазона от 0 до 1.

Давайте потренируемся!

Введение в регрессию на R