多變量羅吉斯回歸

R 的廣義線性模型

Richard Erickson

Instructor

本章概要

  • 多變量羅吉斯回歸
  • R 中的公式
  • 模型假設
R 的廣義線性模型

為何用多元回歸？

問題：有多個自變數。該放哪一個？

解法：用多元回歸，一併納入全部。

R 的廣義線性模型

多個自變數

  • 簡單線性模型或簡單 GLM：
    • 只含 1 斜率與 1 截距
    • $y\sim \beta_0 + \beta_1 x + \epsilon$
  • 多元回歸
    • 多個斜率與截距：
    • $y\sim \beta_0 + \beta_1 x_1 + \beta_2 x + \beta_3 x_3 \ldots + \epsilon$
R 的廣義線性模型

過猶不及

理論上的係數上限：

$\beta$ 的最大數量 = 觀測值數量

過度擬合：

相對於樣本數，使用過多自變數

實務上的係數上限：

$\beta$ 數量 $\times 10 \approx$ 觀測值數量

R 的廣義線性模型

巴士資料：兩個可能的自變數

  • 巴士通勤資料，有 2 個可能的自變數
    • 通勤天數：CommuteDay
    • 通勤距離：MilesOneWay
  • 可同時建立含兩者的模型
glm(Bus ~ CommuteDay + MilesOneWay, data = bus,  family = 'binomial')
R 的廣義線性模型

含多個自變數的 GLM 摘要

Call:
glm(formula = Bus ~ CommuteDays + MilesOneWay, family = "binomial", 
    data = bus)

Deviance Residuals: 
    Min       1Q   Median       3Q      Max  
-1.0732  -0.9035  -0.7816   1.3968   2.5066  

Coefficients:
             Estimate Std. Error z value Pr(>|z|)    
(Intercept) -0.707515   0.119719  -5.910 3.42e-09 ***
CommuteDays  0.066084   0.023181   2.851  0.00436 ** 
MilesOneWay -0.059571   0.003218 -18.512  < 2e-16 ***
#...
R 的廣義線性模型

自變數間的相關

範例相關係數圖

R 的廣義線性模型

係數的放入次序

自變數間無相關

  • 次序不重要
  • $y\sim x_1 + x_2 +\epsilon \approx y\sim x_2 + x_1 +\epsilon$

自變數間有相關

  • 次序可能改變估計值
  • $y\sim x_1 + x_2 +\epsilon \neq y\sim x_2 + x_1 +\epsilon$
R 的廣義線性模型

一起來練習吧！

R 的廣義線性模型

Preparing Video For Download...