重回帰ロジスティック回帰

R における Generalized Linear Models

Richard Erickson

Instructor

章の概要

重回帰ロジスティック回帰
Rでの数式
モデルの前提条件

なぜ重回帰を使うのか？

問題： 複数の予測変数がある。どれを含めるべきか？

解決策： 重回帰を使ってすべて含める。

複数の予測変数

単純線形モデルまたは単純GLM：
- 傾きと切片はそれぞれ1つ
- $y\sim \beta_0 + \beta_1 x + \epsilon$
重回帰
- 複数の傾きと切片：
- $y\sim \beta_0 + \beta_1 x_1 + \beta_2 x + \beta_3 x_3 \ldots + \epsilon$

良いものも過ぎれば毒

係数の理論的な最大数：

$\beta$の最大数＝観測数

過学習：

サンプル数に対して予測変数が多すぎる

係数の実用的な最大数：

$\beta$の数$\times10 \approx$ 観測数

バスデータ：2つの予測変数候補

バス通勤データには2つの予測変数候補がある
- 通勤日数：CommuteDay
- 通勤距離：MilesOneWay
両方を使ったモデルの構築が可能

glm(Bus ~ CommuteDay + MilesOneWay, data = bus,  family = 'binomial')

複数予測変数を持つGLMの要約

Call:
glm(formula = Bus ~ CommuteDays + MilesOneWay, family = "binomial", 
    data = bus)

Deviance Residuals: 
    Min       1Q   Median       3Q      Max  
-1.0732  -0.9035  -0.7816   1.3968   2.5066  

Coefficients:
             Estimate Std. Error z value Pr(>|z|)    
(Intercept) -0.707515   0.119719  -5.910 3.42e-09 ***
CommuteDays  0.066084   0.023181   2.851  0.00436 ** 
MilesOneWay -0.059571   0.003218 -18.512  < 2e-16 ***
#...

予測変数間の相関

相関プロットの例

係数の順序

予測変数間に相関なし

順序は重要でない
$y\sim x_1 + x_2 +\epsilon \approx y\sim x_2 + x_1 +\epsilon$

予測変数間に相関あり

順序によって推定値が変わる場合がある
$y\sim x_1 + x_2 +\epsilon \neq y\sim x_2 + x_1 +\epsilon$

練習しましょう！

R における Generalized Linear Models