Множинна логістична регресія
Узагальнені лінійні моделі в R
Richard Erickson
Instructor
Огляд розділу
- Множинна логістична регресія
- Формули в R
- Припущення моделі
Навіщо множинна регресія?
Проблема: Кілька предикторів. Які включити?
Рішення: Включіть усі, використавши множинну регресію.
Кілька змінних-предикторів
- Прості лінійні моделі або прості GLM:
- Лише 1 кутовий коефіцієнт і 1 вільний член
- $y\sim \beta_0 + \beta_1 x + \epsilon$
- Множинна регресія
- Кілька кутових коефіцієнтів і вільних членів:
- $y\sim \beta_0 + \beta_1 x_1 + \beta_2 x + \beta_3 x_3 \ldots + \epsilon$
Надміру доброго
Теоретична макс. кількість коефіцієнтів:
Максимальна кількість $\beta$ = кількість спостережень
Переобладнання (overfitting):
Занадто багато предикторів порівняно з кількістю вибірок
Практична макс. кількість коефіцієнтів:
Кількість $\beta\times10 \approx$ кількість спостережень
Дані про автобус: два можливі предиктори
- Для даних про поїздки автобусом — 2 можливі предиктори
- Кількість днів із поїздками:
CommuteDay - Відстань в один бік:
MilesOneWay
- Кількість днів із поїздками:
- Можна побудувати модель з обома
glm(Bus ~ CommuteDay + MilesOneWay, data = bus, family = 'binomial')
Підсумок GLM з кількома предикторами
Call:
glm(formula = Bus ~ CommuteDays + MilesOneWay, family = "binomial",
data = bus)
Deviance Residuals:
Min 1Q Median 3Q Max
-1.0732 -0.9035 -0.7816 1.3968 2.5066
Coefficients:
Estimate Std. Error z value Pr(>|z|)
(Intercept) -0.707515 0.119719 -5.910 3.42e-09 ***
CommuteDays 0.066084 0.023181 2.851 0.00436 **
MilesOneWay -0.059571 0.003218 -18.512 < 2e-16 ***
#...
Кореляція між предикторами
Порядок коефіцієнтів
Немає кореляції між предикторами
- Порядок неважливий
- $y\sim x_1 + x_2 +\epsilon \approx y\sim x_2 + x_1 +\epsilon$
Є кореляція між предикторами
- Порядок може змінювати оцінки
- $y\sim x_1 + x_2 +\epsilon \neq y\sim x_2 + x_1 +\epsilon$
Давайте потренуємось!
Узагальнені лінійні моделі в R
