Bernoulli-mengmodellen

Mixture Models in R

Victor Medina

Researcher at The University of Edinburgh

De handgeschreven-cijferdataset

Continue versus discrete variabelen

Gauss-verdeling

Bernoulli-verdeling (munt opgooien)

Bernoulli-verdeling

Twee mogelijke uitkomsten
- "munt" of "kop"
- "zwart" of "wit"
Weergegeven door een kans op "succes" → p
- (1 - p) = kans op de andere optie

Steekproef van Bernoulli-verdeling

p <- 0.7
bernoulli <- sample(c(0, 1), 100, replace = TRUE, prob = c(1-p, p))
head(bernoulli)

1 1 1 0 0 1

Binaire afbeelding als Bernoulli-verdelingen

Binaire afbeelding als Bernoulli-vector

p1 <- 0.7; p2 <- 0.5; p3 <- 0.4

bernoulli_1 <- sample(c(0, 1), 100, replace = TRUE, prob = c(1-p1, p1))
bernoulli_2 <- sample(c(0, 1), 100, replace = TRUE, prob = c(1-p2, p2))
bernoulli_3 <- sample(c(0, 1), 100, replace = TRUE, prob = c(1-p3, p3))

multi_bernoulli <- cbind(bernoulli_1, bernoulli_2, bernoulli_3)

head(multi_bernoulli, 4)

     bernoulli_1 bernoulli_2 bernoulli_3
[1,]           1           0           0
[2,]           0           0           0
[3,]           0           0           1
[4,]           1           0           0

p_vector <- c(p1, p2, p3)

Bernoulli-mengmodellen

Handgeschreven-cijferdataset:

Welke kansverdeling past?
- (multivariate) Bernoulli-verdeling.
Hoeveel subpopulaties nemen we?
- Laten we er twee proberen: twee binaire vectoren van lengte 256.
Welke parameters en schatters?
- Elk p per binaire vector, plus de twee verhoudingen.

Laten we oefenen!

Mixture Models in R