Le paradoxe de Simpson

Régression intermédiaire en R

Richie Cotton

Data Evangelist at DataCamp

Un paradoxe des plus ingénieux !

Le paradoxe de Simpson survient quand la tendance d'un modèle sur l'ensemble de données diffère fortement de celles des modèles sur des sous-ensembles.

tendance = coefficient de pente

Données synthétiques de Simpson

x	y	groupe
62.24344	70.60840	D
52.33499	14.70577	B
56.36795	46.39554	C
66.80395	66.17487	D
66.53605	89.24658	E
62.38129	91.45260	E

5 groupes de données, étiquetés « A » à « E »

¹ https://www.rdocumentation.org/packages/datasauRus/topics/simpsons_paradox

Régressions linéaires

Ensemble complet

mdl_whole <- lm(
  y ~ x, 
  data = simpsons_paradox
)
coefficients(mdl_whole)

(Intercept)            x  
    -38.554        1.751

Par groupe

mdl_by_group <- lm(
  y ~ group + group:x + 0, 
  data = simpsons_paradox
)
coefficients(mdl_by_group)

  groupA    groupB    groupC    groupD    groupE  
 32.5051   67.3886   99.6333  132.3932  123.8242  
groupA:x  groupB:x  groupC:x  groupD:x  groupE:x  
 -0.6266   -1.0105   -0.9940   -0.9908   -0.5364

Tracer l'ensemble complet

ggplot(simpsons_paradox, aes(x, y)) +
  geom_point() +
  geom_smooth(method = "lm", se = FALSE)

diagramme de dispersion : ensemble complet

Tracer par groupe

ggplot(simpsons_paradox, aes(x, y, color = group)) +
  geom_point() +
  geom_smooth(method = "lm", se = FALSE)

diagramme de dispersion par groupe

Réconcilier l'écart

Bon conseil

Dans la mesure du possible, tracez l'ensemble de données.

Conseil courant

On ne peut pas choisir le meilleur modèle en général — cela dépend de l'ensemble de données et de la question visée.

Autre bon conseil

Formulez la question avant de modéliser.

Exemple de résultats de test

notes de test : ensemble complet

notes de test : par groupe

Exemple de maladie infectieuse

maladies infectieuses : ensemble complet

maladies infectieuses : par groupe

¹ https://stats.stackexchange.com/questions/478463/examples-of-simpsons-paradox-being-resolved-by-choosing-the-aggregate-data

Réconcilier l'écart, encore

Le modèle groupé est généralement (mais pas toujours) plus éclairant.
Manquez-vous des variables explicatives ?
Le contexte compte.

Paradoxe de Simpson dans des données réelles

Le paradoxe est habituellement moins évident.
Vous pourriez voir une pente nulle plutôt qu'un renversement complet.
Il peut ne pas apparaître dans chaque groupe.

Passons à la pratique !

Régression intermédiaire en R