Comparaisons de modèles bayésiens

Modélisation de régression bayésienne avec rstanarm

Jake Thompson

Psychometrician, ATLAS, University of Kansas

Le paquet loo

LOO = leave-one-out
- Validation croisée approximative
- ?loo-package
- Utiliser loo pour comparer des modèles

Utiliser loo sur un seul modèle

library(rstanarm)
library(loo)
stan_model <- stan_glm(kid_score ~ mom_iq, data = kidiq)

loo(stan_model)

Calculé à partir d'une matrice de log-vraisemblance 4000 par 434

         Estimation   ET
elpd_loo    -1878.5 14.5
p_loo           2.9  0.3
looic        3757.1 29.0
 ------
L'ET de Monte Carlo de elpd_loo est 0.0.

Toutes les estimations Pareto k sont bonnes (k < 0,5).
Voir help('pareto-k-diagnostic') pour les détails.

Comparaison de modèles avec loo

model_1pred <- stan_glm(kid_score ~ mom_iq, data = kidiq)
model_2pred <- stan_glm(kid_score ~ mom_iq * mom_hs, data = kidiq)

loo_1pred <- loo(model_1pred)
loo_2pred <- loo(model_2pred)

compare(loo_1pred, loo_2pred)

elpd_diff        se 
      6.1       3.9

Comparaison de modèles avec loo

compare(loo_1pred, loo_2pred)

elpd_diff        se 
      6.1       3.9

Positif = préférer le deuxième modèle
Négatif = préférer le premier modèle
Différence significative ?
- Valeur absolue de la différence par rapport à l'erreur-type

Passons à la pratique !

Modélisation de régression bayésienne avec rstanarm