Simpsons paradox

Intermediär regression i R

Richie Cotton

Data Evangelist at DataCamp

Ett högst ingeniöst paradox!

Simpsons paradox uppstår när trenden för en modell på hela datamängden skiljer sig markant från trenderna i modeller på delmängder av datamängden.

trend = lutningskoefficient

Syntetiska Simpsondata

x	y	group
62.24344	70.60840	D
52.33499	14.70577	B
56.36795	46.39554	C
66.80395	66.17487	D
66.53605	89.24658	E
62.38129	91.45260	E

5 datagrupper, märkta "A" till "E"

¹ https://www.rdocumentation.org/packages/datasauRus/topics/simpsons_paradox

Linjära regressioner

Hela datamängden

mdl_whole <- lm(
  y ~ x, 
  data = simpsons_paradox
)
coefficients(mdl_whole)

(Intercept)            x  
    -38.554        1.751

Per grupp

mdl_by_group <- lm(
  y ~ group + group:x + 0, 
  data = simpsons_paradox
)
coefficients(mdl_by_group)

  groupA    groupB    groupC    groupD    groupE  
 32.5051   67.3886   99.6333  132.3932  123.8242  
groupA:x  groupB:x  groupC:x  groupD:x  groupE:x  
 -0.6266   -1.0105   -0.9940   -0.9908   -0.5364

Plotta hela datamängden

ggplot(simpsons_paradox, aes(x, y)) +
  geom_point() +
  geom_smooth(method = "lm", se = FALSE)

Spridningsdiagram – Simpson, hela datamängden

Plotta per grupp

ggplot(simpsons_paradox, aes(x, y, color = group)) +
  geom_point() +
  geom_smooth(method = "lm", se = FALSE)

Spridningsdiagram – Simpson, per grupp

Att hantera skillnaden

Bra råd

Försök att plotta datamängden om möjligt.

Vanligt råd

Det finns ingen universellt bästa modell – det beror på datamängden och frågan du försöker besvara.

Ytterligare ett bra råd

Formulera en fråga innan du börjar modellera.

Exempel: testresultat

Spridningsdiagram – testresultat, hela datamängden

Spridningsdiagram – testresultat, per grupp

Exempel: smittsam sjukdom

Spridningsdiagram – städer, hela datamängden

Spridningsdiagram – städer, per grupp

¹ https://stats.stackexchange.com/questions/478463/examples-of-simpsons-paradox-being-resolved-by-choosing-the-aggregate-data

Att hantera skillnaden, igen

Vanligtvis (men inte alltid) ger den grupperade modellen mer insikt.
Saknar du förklarande variabler?
Kontexten är viktig.

Simpsons paradox i verkliga datamängder

Paradoxen är vanligtvis mindre tydlig.
Du kan se en nollutning snarare än en fullständig riktningsändring.
Den behöver inte förekomma i alla grupper.

Nu kör vi en övning!

Intermediär regression i R