Simpsonův paradox

Intermediate Regression in R

Richie Cotton

Data Evangelist at DataCamp

Nejdůmyslnější paradox!

Simpsonův paradox nastává, když se trend modelu na celém datasetu výrazně liší od trendů modelů na podmnožinách datasetu.

trend = koeficient sklonu

Syntetická Simpsonova data

x	y	group
62.24344	70.60840	D
52.33499	14.70577	B
56.36795	46.39554	C
66.80395	66.17487	D
66.53605	89.24658	E
62.38129	91.45260	E

5 skupin dat, označených „A" až „E"

¹ https://www.rdocumentation.org/packages/datasauRus/topics/simpsons_paradox

Lineární regrese

Celý dataset

mdl_whole <- lm(
  y ~ x, 
  data = simpsons_paradox
)
coefficients(mdl_whole)

(Intercept)            x  
    -38.554        1.751

Podle skupiny

mdl_by_group <- lm(
  y ~ group + group:x + 0, 
  data = simpsons_paradox
)
coefficients(mdl_by_group)

  groupA    groupB    groupC    groupD    groupE  
 32.5051   67.3886   99.6333  132.3932  123.8242  
groupA:x  groupB:x  groupC:x  groupD:x  groupE:x  
 -0.6266   -1.0105   -0.9940   -0.9908   -0.5364

Vizualizace celého datasetu

ggplot(simpsons_paradox, aes(x, y)) +
  geom_point() +
  geom_smooth(method = "lm", se = FALSE)

Bodový graf – celý dataset

Vizualizace podle skupiny

ggplot(simpsons_paradox, aes(x, y, color = group)) +
  geom_point() +
  geom_smooth(method = "lm", se = FALSE)

Bodový graf – podle skupiny

Jak sladit rozdíly

Dobrá rada

Pokud možno, zobrazte dataset graficky.

Obecná rada

Nelze obecně vybrat nejlepší model – závisí na datasetu a otázce, na kterou hledáte odpověď.

Další dobrá rada

Formulujte otázku ještě před zahájením modelování.

Příklad: výsledky testů

Bodový graf – výsledky testů, celý dataset

Bodový graf – výsledky testů, podle skupiny

Příklad: infekční nemoci

Bodový graf – infekční nemoci, celý dataset

Bodový graf – infekční nemoci, podle skupiny

¹ https://stats.stackexchange.com/questions/478463/examples-of-simpsons-paradox-being-resolved-by-choosing-the-aggregate-data

Jak sladit rozdíly – pokračování

Skupinový model zpravidla (ne vždy) přináší více informací.
Chybí vám vysvětlující proměnné?
Kontext je důležitý.

Simpsonův paradox v reálných datech

Paradox bývá v praxi méně zřejmý.
Může se projevit nulovým sklonem místo úplné změny směru.
Nemusí se vyskytnout ve všech skupinách.

Pojďme si procvičit!

Intermediate Regression in R