Paradoxo de Simpson

Regressão intermediária no R

Richie Cotton

Data Evangelist at DataCamp

Um paradoxo genial!

O Paradoxo de Simpson ocorre quando a tendência de um modelo no conjunto de dados inteiro é bem diferente das tendências dos modelos em subconjuntos do conjunto de dados.

tendência = coeficiente angular

Dados sintéticos de Simpson

x	y	grupo
62.24344	70.60840	D
52.33499	14.70577	B
56.36795	46.39554	C
66.80395	66.17487	D
66.53605	89.24658	E
62.38129	91.45260	E

5 grupos de dados, rotulados de "A" a "E"

¹ https://www.rdocumentation.org/packages/datasauRus/topics/simpsons_paradox

Regressões lineares

Conjunto de dados inteiro

mdl_whole <- lm(
  y ~ x, 
  data = simpsons_paradox
)
coefficients(mdl_whole)

(Intercept)            x  
    -38.554        1.751

Por grupo

mdl_by_group <- lm(
  y ~ group + group:x + 0, 
  data = simpsons_paradox
)
coefficients(mdl_by_group)

  groupA    groupB    groupC    groupD    groupE  
 32.5051   67.3886   99.6333  132.3932  123.8242  
groupA:x  groupB:x  groupC:x  groupD:x  groupE:x  
 -0.6266   -1.0105   -0.9940   -0.9908   -0.5364

Plotando o conjunto inteiro

ggplot(simpsons_paradox, aes(x, y)) +
  geom_point() +
  geom_smooth(method = "lm", se = FALSE)

Plotando por grupo

ggplot(simpsons_paradox, aes(x, y, color = group)) +
  geom_point() +
  geom_smooth(method = "lm", se = FALSE)

Conciliando a diferença

Boas dicas

Se possível, faça um gráfico do conjunto de dados.

Dica comum

Você não consegue escolher o melhor modelo em geral — depende do conjunto de dados e da pergunta que quer responder.

Mais uma boa dica

Defina a pergunta antes de começar a modelar.

Exemplo de nota de teste

Exemplo de doença infecciosa

¹ https://stats.stackexchange.com/questions/478463/examples-of-simpsons-paradox-being-resolved-by-choosing-the-aggregate-data

Conciliando a diferença, de novo

Normalmente (mas nem sempre) o modelo por grupo traz mais insight.
Faltam variáveis explicativas?
Contexto é importante.

Paradoxo de Simpson em dados reais

O paradoxo costuma ser menos óbvio.
Você pode ver inclinação zero, não uma mudança total de direção.
Pode não aparecer em todo grupo.

Vamos praticar!

Regressão intermediária no R