Wielokrotna regresja logistyczna
Uogólnione modele liniowe w R
Richard Erickson
Instructor
Przegląd rozdziału
- Wielokrotna regresja logistyczna
- Formuły w R
- Założenia modelu
Dlaczego regresja wielokrotna?
Problem: Wiele zmiennych predykcyjnych. Które uwzględnić?
Rozwiązanie: Uwzględnić wszystkie za pomocą regresji wielokrotnej.
Wiele zmiennych predykcyjnych
- Proste modele liniowe lub proste GLM:
- Ograniczone do 1 nachylenia i 1 wyrazu wolnego
- $y\sim \beta_0 + \beta_1 x + \epsilon$
- Regresja wielokrotna
- Wiele nachyleń i wyrazów wolnych:
- $y\sim \beta_0 + \beta_1 x_1 + \beta_2 x + \beta_3 x_3 \ldots + \epsilon$
Za dużo dobrego
Teoretyczna maksymalna liczba współczynników:
Maksymalna liczba $\beta$ = Liczba obserwacji
Przeuczenie:
Zbyt wiele predyktorów w stosunku do liczby próbek
Praktyczna maksymalna liczba współczynników:
Liczba $\beta\times10 \approx$ Liczba obserwacji
Dane o autobusach: dwa możliwe predyktory
- Dane o dojeżdżających autobusem: 2 możliwe predyktory
- Liczba dni dojazdu:
CommuteDay - Odległość dojazdu:
MilesOneWay
- Liczba dni dojazdu:
- Możliwe zbudowanie modelu z oboma
glm(Bus ~ CommuteDay + MilesOneWay, data = bus, family = 'binomial')
Podsumowanie GLM z wieloma predyktorami
Call:
glm(formula = Bus ~ CommuteDays + MilesOneWay, family = "binomial",
data = bus)
Deviance Residuals:
Min 1Q Median 3Q Max
-1.0732 -0.9035 -0.7816 1.3968 2.5066
Coefficients:
Estimate Std. Error z value Pr(>|z|)
(Intercept) -0.707515 0.119719 -5.910 3.42e-09 ***
CommuteDays 0.066084 0.023181 2.851 0.00436 **
MilesOneWay -0.059571 0.003218 -18.512 < 2e-16 ***
#...
Korelacja między predyktorami
Kolejność współczynników
Brak korelacji między predyktorami
- Kolejność nie ma znaczenia
- $y\sim x_1 + x_2 +\epsilon \approx y\sim x_2 + x_1 +\epsilon$
Korelacja między predyktorami
- Kolejność może wpływać na estymaty
- $y\sim x_1 + x_2 +\epsilon \neq y\sim x_2 + x_1 +\epsilon$
Czas na ćwiczenia!
Uogólnione modele liniowe w R
