Paradoxul lui Simpson

Regresie intermediară în R

Richie Cotton

Data Evangelist at DataCamp

Un paradox ingenios!

Paradoxul lui Simpson apare când tendința unui model pe întregul set de date diferă semnificativ de tendințele modelelor pe subseturi.

tendință = coeficientul pantei

Date sintetice Simpson

x	y	group
62.24344	70.60840	D
52.33499	14.70577	B
56.36795	46.39554	C
66.80395	66.17487	D
66.53605	89.24658	E
62.38129	91.45260	E

5 grupuri de date, etichetate de la "A" la "E"

¹ https://www.rdocumentation.org/packages/datasauRus/topics/simpsons_paradox

Regresii liniare

Întregul set de date

mdl_whole <- lm(
  y ~ x, 
  data = simpsons_paradox
)
coefficients(mdl_whole)

(Intercept)            x  
    -38.554        1.751

Pe grupuri

mdl_by_group <- lm(
  y ~ group + group:x + 0, 
  data = simpsons_paradox
)
coefficients(mdl_by_group)

  groupA    groupB    groupC    groupD    groupE  
 32.5051   67.3886   99.6333  132.3932  123.8242  
groupA:x  groupB:x  groupC:x  groupD:x  groupE:x  
 -0.6266   -1.0105   -0.9940   -0.9908   -0.5364

Reprezentarea întregului set de date

ggplot(simpsons_paradox, aes(x, y)) +
  geom_point() +
  geom_smooth(method = "lm", se = FALSE)

Reprezentarea pe grupuri

ggplot(simpsons_paradox, aes(x, y, color = group)) +
  geom_point() +
  geom_smooth(method = "lm", se = FALSE)

Reconcilierea diferenței

Sfat util

Dacă este posibil, reprezentați grafic setul de date.

Sfat comun

Nu există un model universal optim — depinde de set și de întrebarea la care doriți să răspundeți.

Alt sfat util

Formulați o întrebare înainte de a începe modelarea.

Exemplu cu scoruri la teste

Exemplu cu boli infecțioase

¹ https://stats.stackexchange.com/questions/478463/examples-of-simpsons-paradox-being-resolved-by-choosing-the-aggregate-data

Reconcilierea diferenței (din nou)

De obicei (nu întotdeauna), modelul grupat oferă mai mult insight.
Lipsesc variabile explicative?
Contextul este important.

Paradoxul lui Simpson în seturi de date reale

Paradoxul este de obicei mai puțin evident.
Poate apărea o pantă nulă, nu o inversare completă.
Poate să nu fie prezent în toate grupurile.

Să exersăm!

Regresie intermediară în R