Multiple logistic regression

Generalized Linear Models ใน R

Richard Erickson

Instructor

ภาพรวมของบท

Multiple logistic regression
สูตรใน R
ข้อสมมติของโมเดล

ทำไมต้องใช้ multiple regression?

ปัญหา: มีตัวแปรพยากรณ์หลายตัว จะเลือกตัวไหนดี?

วิธีแก้: รวมทุกตัวไว้ด้วย multiple regression

ตัวแปรพยากรณ์หลายตัว

Simple linear model หรือ simple GLM:
- มีได้แค่ 1 ค่า slope และ 1 ค่า intercept
- $y\sim \beta_0 + \beta_1 x + \epsilon$
Multiple regression
- มี slope และ intercept ได้หลายค่า:
- $y\sim \beta_0 + \beta_1 x_1 + \beta_2 x + \beta_3 x_3 \ldots + \epsilon$

มากเกินไปก็ไม่ดี

จำนวน coefficient สูงสุดในทางทฤษฎี:

จำนวน $\beta$ สูงสุด = จำนวนการสังเกต

Over-fitting:

ใช้ตัวพยากรณ์มากเกินไปเมื่อเทียบกับจำนวนตัวอย่าง

จำนวน coefficient สูงสุดในทางปฏิบัติ:

จำนวน $\beta\times10 \approx$ จำนวนการสังเกต

ข้อมูลรถบัส: ตัวพยากรณ์ที่เป็นไปได้ 2 ตัว

ข้อมูลผู้โดยสารรถบัสมีตัวพยากรณ์ที่เป็นไปได้ 2 ตัว
- จำนวนวันที่เดินทาง: CommuteDay
- ระยะทางของการเดินทาง: MilesOneWay
สามารถสร้างโมเดลที่ใช้ทั้งสองตัวได้

glm(Bus ~ CommuteDay + MilesOneWay, data = bus,  family = 'binomial')

สรุป GLM ที่มีตัวพยากรณ์หลายตัว

Call:
glm(formula = Bus ~ CommuteDays + MilesOneWay, family = "binomial", 
    data = bus)

Deviance Residuals: 
    Min       1Q   Median       3Q      Max  
-1.0732  -0.9035  -0.7816   1.3968   2.5066  

Coefficients:
             Estimate Std. Error z value Pr(>|z|)    
(Intercept) -0.707515   0.119719  -5.910 3.42e-09 ***
CommuteDays  0.066084   0.023181   2.851  0.00436 ** 
MilesOneWay -0.059571   0.003218 -18.512  < 2e-16 ***
#...

สหสัมพันธ์ระหว่างตัวพยากรณ์

ตัวอย่างกราฟสหสัมพันธ์

ลำดับของ coefficient

ไม่มีสหสัมพันธ์ระหว่างตัวพยากรณ์

ลำดับไม่มีผล
$y\sim x_1 + x_2 +\epsilon \approx y\sim x_2 + x_1 +\epsilon$

มีสหสัมพันธ์ระหว่างตัวพยากรณ์

ลำดับอาจส่งผลต่อค่าประมาณ
$y\sim x_1 + x_2 +\epsilon \neq y\sim x_2 + x_1 +\epsilon$

มาฝึกกันเถอะ!

Generalized Linear Models ใน R