다중 로지스틱 회귀

R에서 Generalized Linear Models

Richard Erickson

Instructor

챕터 개요

다중 로지스틱 회귀
R의 공식
모델 가정

다중 회귀가 필요한 이유

문제: 예측 변수가 여러 개인 경우, 어떤 것을 포함해야 할까요?

해결책: 다중 회귀를 사용하여 모두 포함합니다.

다중 예측 변수

단순 선형 모델 또는 단순 GLM:
- 기울기 1개, 절편 1개로 제한
- $y\sim \beta_0 + \beta_1 x + \epsilon$
다중 회귀
- 다중 기울기와 절편:
- $y\sim \beta_0 + \beta_1 x_1 + \beta_2 x + \beta_3 x_3 \ldots + \epsilon$

과도한 예측 변수의 문제

계수의 이론적 최대 개수:

$\beta$의 최대 개수 = 관측치 수

과적합:

표본 수 대비 예측 변수가 너무 많은 경우

계수의 실질적 최대 개수:

$\beta\times10 \approx$ 관측치 수

버스 데이터: 두 가지 예측 변수

버스 통근 데이터에서 가능한 예측 변수 2개
- 통근 일수: CommuteDay
- 통근 거리: MilesOneWay
두 변수를 모두 사용한 모델 구축 가능

glm(Bus ~ CommuteDay + MilesOneWay, data = bus,  family = 'binomial')

다중 예측 변수 GLM 요약

Call:
glm(formula = Bus ~ CommuteDays + MilesOneWay, family = "binomial", 
    data = bus)

Deviance Residuals: 
    Min       1Q   Median       3Q      Max  
-1.0732  -0.9035  -0.7816   1.3968   2.5066  

Coefficients:
             Estimate Std. Error z value Pr(>|z|)    
(Intercept) -0.707515   0.119719  -5.910 3.42e-09 ***
CommuteDays  0.066084   0.023181   2.851  0.00436 ** 
MilesOneWay -0.059571   0.003218 -18.512  < 2e-16 ***
#...

예측 변수 간 상관관계

상관관계 플롯 예시

계수의 순서

예측 변수 간 상관관계 없음

순서 무관
$y\sim x_1 + x_2 +\epsilon \approx y\sim x_2 + x_1 +\epsilon$

예측 변수 간 상관관계 있음

순서에 따라 추정치가 달라질 수 있음
$y\sim x_1 + x_2 +\epsilon \neq y\sim x_2 + x_1 +\epsilon$

연습해 봅시다!

R에서 Generalized Linear Models