Le paradoxe de Simpson

Régression intermédiaire en R

Richie Cotton

Data Evangelist at DataCamp

Un paradoxe des plus ingénieux !

Le paradoxe de Simpson survient quand la tendance d'un modèle sur l'ensemble des données diffère fortement de celles des modèles sur des sous-ensembles.

tendance = coefficient de pente

Données synthétiques du paradoxe de Simpson

x	y	group
62.24344	70.60840	D
52.33499	14.70577	B
56.36795	46.39554	C
66.80395	66.17487	D
66.53605	89.24658	E
62.38129	91.45260	E

5 groupes de données, nommés « A » à « E »

¹ https://www.rdocumentation.org/packages/datasauRus/topics/simpsons_paradox

Régressions linéaires

Ensemble complet

mdl_whole <- lm(
  y ~ x, 
  data = simpsons_paradox
)
coefficients(mdl_whole)

(Intercept)            x  
    -38.554        1.751

Par groupe

mdl_by_group <- lm(
  y ~ group + group:x + 0, 
  data = simpsons_paradox
)
coefficients(mdl_by_group)

  groupA    groupB    groupC    groupD    groupE  
 32.5051   67.3886   99.6333  132.3932  123.8242  
groupA:x  groupB:x  groupC:x  groupD:x  groupE:x  
 -0.6266   -1.0105   -0.9940   -0.9908   -0.5364

Tracer l'ensemble des données

ggplot(simpsons_paradox, aes(x, y)) +
  geom_point() +
  geom_smooth(method = "lm", se = FALSE)

Tracer par groupe

ggplot(simpsons_paradox, aes(x, y, color = group)) +
  geom_point() +
  geom_smooth(method = "lm", se = FALSE)

Réconcilier la différence

Bon conseil

Si possible, tracez l'ensemble de données.

Conseil courant

On ne peut pas choisir le « meilleur » modèle en général — cela dépend des données et de la question posée.

Autre bon conseil

Formulez la question avant de modéliser.

Exemple de scores de test

Exemple de maladie infectieuse

¹ https://stats.stackexchange.com/questions/478463/examples-of-simpsons-paradox-being-resolved-by-choosing-the-aggregate-data

Réconcilier la différence, encore

Le modèle par groupe est souvent (mais pas toujours) plus informatif.
Manquez-vous de variables explicatives ?
Le contexte compte.

Paradoxe de Simpson dans des jeux de données réels

Le paradoxe est généralement moins visible.
Vous pouvez observer une pente nulle plutôt qu'un renversement complet.
Il peut ne pas apparaître dans chaque groupe.

Passons à la pratique !

Régression intermédiaire en R