Bayessche Modellvergleiche

Bayesianische Regressionsmodellierung mit rstanarm

Jake Thompson

Psychometrician, ATLAS, University of Kansas

Das Paket loo

LOO = leave-one-out
- Approximierte Kreuzvalidierung
- ?loo-package
- loo für Modellvergleiche nutzen

loo auf ein einzelnes Modell anwenden

library(rstanarm)
library(loo)
stan_model <- stan_glm(kid_score ~ mom_iq, data = kidiq)

loo(stan_model)

Aus 4000 x 434 Log-Likelihood-Matrix berechnet

           Schätzer   SE
elpd_loo     -1878.5 14.5
p_loo            2.9  0.3
looic         3757.1 29.0
 ------
Monte-Carlo-SE von elpd_loo ist 0.0.

Alle Pareto-k-Schätzer sind gut (k < 0.5).
Siehe help('pareto-k-diagnostic') für Details.

Modellvergleiche mit loo

model_1pred <- stan_glm(kid_score ~ mom_iq, data = kidiq)
model_2pred <- stan_glm(kid_score ~ mom_iq * mom_hs, data = kidiq)

loo_1pred <- loo(model_1pred)
loo_2pred <- loo(model_2pred)

compare(loo_1pred, loo_2pred)

elpd_diff        se 
      6.1       3.9

Modellvergleiche mit loo

compare(loo_1pred, loo_2pred)

elpd_diff        se 
      6.1       3.9

Positiv = zweites Modell bevorzugt
Negativ = erstes Modell bevorzugt
Signifikanter Unterschied?
- Betrag der Differenz relativ zum Standardfehler

Lass uns üben!

Bayesianische Regressionsmodellierung mit rstanarm