Modèles de mélange bernoulliens

Modèles de mélange en R

Victor Medina

Researcher at The University of Edinburgh

Ensemble de chiffres manuscrits

Variables continues ou discrètes

Distribution gaussienne

Distribution de Bernoulli (pile ou face)

Distribution de Bernoulli

Deux issues possibles
- « pile » ou « face »
- « noir » ou « blanc »
Représentée par une probabilité de « succès » $\rightarrow p$
- $(1- p)$ = probabilité de l'autre option

Échantillon d'une distribution de Bernoulli

p <- 0.7
bernoulli <- sample(c(0, 1), 100, replace = TRUE, prob = c(1-p, p))
head(bernoulli)

1 1 1 0 0 1

Image binaire comme distributions bernoulliennes

Image binaire comme vecteur bernoullien

p1 <- 0.7; p2 <- 0.5; p3 <- 0.4

bernoulli_1 <- sample(c(0, 1), 100, replace = TRUE, prob = c(1-p1, p1))
bernoulli_2 <- sample(c(0, 1), 100, replace = TRUE, prob = c(1-p2, p2))
bernoulli_3 <- sample(c(0, 1), 100, replace = TRUE, prob = c(1-p3, p3))

multi_bernoulli <- cbind(bernoulli_1, bernoulli_2, bernoulli_3)

head(multi_bernoulli, 4)

     bernoulli_1 bernoulli_2 bernoulli_3
[1,]           1           0           0
[2,]           0           0           0
[3,]           0           0           1
[4,]           1           0           0

p_vector <- c(p1, p2, p3)

Modèles de mélange bernoulliens

Ensemble de chiffres manuscrits :

Quelle loi de probabilité convient ?
- Distribution (multivariée) de Bernoulli.
Combien de sous-populations considérer ?
- Essayons deux : deux vecteurs binaires de taille 256.
Quels sont les paramètres et leurs estimations ?
- Chaque $p$ pour chaque vecteur binaire, plus les deux proportions.

Passons à la pratique !

Modèles de mélange en R