Валідація моделі, якість прилягання та прогнозування

Machine Learning для маркетингової аналітики в R

Verena Pflieger

Data Scientist at INWT Statistics

Коефіцієнт детермінації $R^2$

$R^2$ і F-тест

summary(multipleLM2)

Residual standard error: 13.87 on 4179 degrees of freedom
Multiple R-squared:  0.3522,    Adjusted R-squared:  0.3504 
F-statistic: 206.5 on 11 and 4179 DF,  p-value: < 2.2e-16

Перенавчання

Методи запобігання перенавчанню

AIC() з пакета stats
stepAIC() з пакета MASS
Перевірка моделі на вибірці поза навчанням
Перехресна перевірка
...

AIC(multipleLM2)

33950.45

Новий набір даних clvData2

head(clvData2)

# A tibble: 6 x 14
  customerID nOrders nItems daysSinceLastOrder margin returnRatio 
       <int>   <int>  <int>              <int>  <dbl>       <dbl>         
1          2      16     40                  2  57.62        0.18
2          3       1      5                124  29.69        1.00
3          4      15     30                 68  56.26        0.16
4          5      23     41                103  58.84        0.03
5          6       2      4                104  29.31        0.00
6          7       6     10                 41  35.72        0.06
#... with 8 more variables: shareOwnBrand <dbl>, shareVoucher <dbl>,
#  shareSale <dbl>, gender <chr>, age <int>, marginPerOrder <dbl>,
#  marginPerItem <dbl>, itemsPerOrder <dbl>

Прогнозування

predMargin <- predict(multipleLM2, 
                      newdata = clvData2)
head(predMargin)

       1        2        3        4        5        6 
51.10204 31.63335 51.90008 52.62200 36.65194 33.84383

mean(predMargin, na.rm = TRUE)

33.95147

Висновки з лінійної регресії

	Висновки: Linear Regression
Ви дізналися...	як прогнозувати майбутню цінність клієнта
	як використовувати лінійну регресію для моделювання неперервної змінної
	що змінні для моделювання і прогнозу мають мати однакові назви

Висновки з моделі

	Висновки з моделі
Ви дізналися...	що маржа за рік добре прогнозує маржу в наступному році
	що що довше минуло з часу останнього замовлення, то менша очікувана маржа
	що характеристики на кшталт статі та віку, ймовірно, не впливають на прогноз маржі
	тощо

Гаразд, до практики!

Machine Learning для маркетингової аналітики в R