Nghịch lý Simpson

Hồi quy trung cấp với R

Richie Cotton

Data Evangelist at DataCamp

Một nghịch lý tinh vi!

Nghịch lý Simpson xảy ra khi xu hướng của mô hình trên toàn bộ dữ liệu rất khác xu hướng của các mô hình trên các tập con.

trend = hệ số dốc

Dữ liệu Simpson tổng hợp

x	y	group
62.24344	70.60840	D
52.33499	14.70577	B
56.36795	46.39554	C
66.80395	66.17487	D
66.53605	89.24658	E
62.38129	91.45260	E

5 nhóm dữ liệu, nhãn từ "A" đến "E"

¹ https://www.rdocumentation.org/packages/datasauRus/topics/simpsons_paradox

Hồi quy tuyến tính

Toàn bộ dữ liệu

mdl_whole <- lm(
  y ~ x, 
  data = simpsons_paradox
)
coefficients(mdl_whole)

(Intercept)            x  
    -38.554        1.751

Theo nhóm

mdl_by_group <- lm(
  y ~ group + group:x + 0, 
  data = simpsons_paradox
)
coefficients(mdl_by_group)

  groupA    groupB    groupC    groupD    groupE  
 32.5051   67.3886   99.6333  132.3932  123.8242  
groupA:x  groupB:x  groupC:x  groupD:x  groupE:x  
 -0.6266   -1.0105   -0.9940   -0.9908   -0.5364

Vẽ toàn bộ dữ liệu

ggplot(simpsons_paradox, aes(x, y)) +
  geom_point() +
  geom_smooth(method = "lm", se = FALSE)

Vẽ theo nhóm

ggplot(simpsons_paradox, aes(x, y, color = group)) +
  geom_point() +
  geom_smooth(method = "lm", se = FALSE)

Hòa giải khác biệt

Lời khuyên hay

Nếu có thể, hãy trực quan hóa dữ liệu.

Lời khuyên phổ biến

Không có mô hình “tốt nhất” nói chung — tùy bộ dữ liệu và câu hỏi cần trả lời.

Thêm một lời khuyên

Nêu rõ câu hỏi trước khi mô hình hóa.

Ví dụ điểm kiểm tra

Ví dụ bệnh truyền nhiễm

¹ https://stats.stackexchange.com/questions/478463/examples-of-simpsons-paradox-being-resolved-by-choosing-the-aggregate-data

Hòa giải khác biệt (tiếp)

Thường (nhưng không luôn) mô hình theo nhóm cho nhiều thông tin hơn.
Có thiếu biến giải thích không?
Ngữ cảnh rất quan trọng.

Nghịch lý Simpson trong dữ liệu thực

Nghịch lý thường ít rõ ràng hơn.
Có thể thấy hệ số dốc gần 0 thay vì đổi chiều hoàn toàn.
Có thể không xuất hiện ở mọi nhóm.

Ayo berlatih!

Hồi quy trung cấp với R