多元逻辑回归

R 中的广义线性模型

Richard Erickson

Instructor

本章概览

多元逻辑回归
R 中的公式
模型假设

为何使用多重回归？

问题： 多个自变量。该选哪个？

解决方案： 用多重回归同时纳入全部。

多个自变量

简单线性模型或简单 GLM：
- 仅 1 个斜率和 1 个截距
- $y\sim \beta_0 + \beta_1 x + \epsilon$
多重回归
- 多个斜率和截距：
- $y\sim \beta_0 + \beta_1 x_1 + \beta_2 x + \beta_3 x_3 \ldots + \epsilon$

过犹不及

理论上的系数上限：

$\beta$ 的最大数 = 观测数

过拟合：

相对于样本量，使用过多自变量

实践中的系数上限：

$\beta\times10 \approx$ 观测数

公交数据：两个可能的自变量

在公交通勤数据中，有 2 个可能的自变量
- 通勤天数：CommuteDay
- 单程距离：MilesOneWay
可用二者同时建模

glm(Bus ~ CommuteDay + MilesOneWay, data = bus,  family = 'binomial')

含多个自变量的GLM摘要

Call:
glm(formula = Bus ~ CommuteDays + MilesOneWay, family = "binomial", 
    data = bus)

Deviance Residuals: 
    Min       1Q   Median       3Q      Max  
-1.0732  -0.9035  -0.7816   1.3968   2.5066  

Coefficients:
             Estimate Std. Error z value Pr(>|z|)    
(Intercept) -0.707515   0.119719  -5.910 3.42e-09 ***
CommuteDays  0.066084   0.023181   2.851  0.00436 ** 
MilesOneWay -0.059571   0.003218 -18.512  < 2e-16 ***
#...

自变量间的相关性

示例相关性图

系数顺序

自变量无相关

顺序不重要
$y\sim x_1 + x_2 +\epsilon \approx y\sim x_2 + x_1 +\epsilon$

自变量有相关

顺序可能改变估计
$y\sim x_1 + x_2 +\epsilon \neq y\sim x_2 + x_1 +\epsilon$

Passons à la pratique !

R 中的广义线性模型