Meervoudige logistische regressie
Generalized Linear Models in R
Richard Erickson
Instructor
Hoofdstukoverzicht
- Meervoudige logistische regressie
- Formules in R
- Modelaannames
Waarom meervoudige regressie?
Probleem: Meerdere voorspellers. Welke neem je op?
Oplossing: Neem ze allemaal op met meervoudige regressie.
Meerdere voorspellers
- Eenvoudige lineaire modellen of eenvoudige GLM:
- Beperkt tot 1 helling en 1 intercept
- $y\sim \beta_0 + \beta_1 x + \epsilon$
- Meervoudige regressie
- Meerdere hellingen en intercepts:
- $y\sim \beta_0 + \beta_1 x_1 + \beta_2 x + \beta_3 x_3 \ldots + \epsilon$
Te veel van het goede
Theoretisch maximaal aantal coëfficiënten:
Maximaal aantal $\beta$'s = aantal observaties
Overfitting:
Te veel voorspellers gebruiken ten opzichte van het aantal steekproeven
Praktisch maximaal aantal coëfficiënten:
Aantal $\beta\times10 \approx$ aantal observaties
Busdata: twee mogelijke voorspellers
- Met busforensgegevens, 2 mogelijke voorspellers
- Aantal dagen dat iemand reist:
CommuteDay - Afstand enkele reis:
MilesOneWay
- Aantal dagen dat iemand reist:
- Je kunt een model bouwen met beide
glm(Bus ~ CommuteDay + MilesOneWay, data = bus, family = 'binomial')
Samenvatting van GLM met meerdere voorspellers
Call:
glm(formula = Bus ~ CommuteDays + MilesOneWay, family = "binomial",
data = bus)
Deviance Residuals:
Min 1Q Median 3Q Max
-1.0732 -0.9035 -0.7816 1.3968 2.5066
Coefficients:
Estimate Std. Error z value Pr(>|z|)
(Intercept) -0.707515 0.119719 -5.910 3.42e-09 ***
CommuteDays 0.066084 0.023181 2.851 0.00436 **
MilesOneWay -0.059571 0.003218 -18.512 < 2e-16 ***
#...
Correlatie tussen voorspellers
Volgorde van coëfficiënten
Geen correlatie tussen voorspellers
- Volgorde niet belangrijk
- $y\sim x_1 + x_2 +\epsilon \approx y\sim x_2 + x_1 +\epsilon$
Correlatie tussen voorspellers
- Volgorde kan schattingen veranderen
- $y\sim x_1 + x_2 +\epsilon \neq y\sim x_2 + x_1 +\epsilon$
Laten we oefenen!
Generalized Linear Models in R
