Bernoulli 混合模型

R 中的混合模型

Victor Medina

Researcher at The University of Edinburgh

手寫數字資料集

連續變數 vs. 離散變數

Gaussian 分佈

Bernoulli 分佈（擲硬幣）

Bernoulli 分佈

兩種可能結果
- 「tail」或「head」
- 「black」或「white」
以「成功」機率表示 $\rightarrow p$
- $(1- p)$ = 另一選項的機率

Bernoulli 分佈的抽樣

p <- 0.7
bernoulli <- sample(c(0, 1), 100, replace = TRUE, prob = c(1-p, p))
head(bernoulli)

1 1 1 0 0 1

二元影像作為 Bernoulli 分佈

二元影像作為 Bernoulli 向量

p1 <- 0.7; p2 <- 0.5; p3 <- 0.4

bernoulli_1 <- sample(c(0, 1), 100, replace = TRUE, prob = c(1-p1, p1))
bernoulli_2 <- sample(c(0, 1), 100, replace = TRUE, prob = c(1-p2, p2))
bernoulli_3 <- sample(c(0, 1), 100, replace = TRUE, prob = c(1-p3, p3))

multi_bernoulli <- cbind(bernoulli_1, bernoulli_2, bernoulli_3)

head(multi_bernoulli, 4)

     bernoulli_1 bernoulli_2 bernoulli_3
[1,]           1           0           0
[2,]           0           0           0
[3,]           0           0           1
[4,]           1           0           0

p_vector <- c(p1, p2, p3)

Bernoulli 混合模型

手寫數字資料集：

適用哪種機率分佈？
- （多變量）Bernoulli 分佈。
要考慮多少個子族群？
- 先試兩個。也就是大小為 256 的兩個二元向量。
參數與其估計為何？
- 各二元向量各自的 $p$，以及兩個比例。

Let's practice

R 中的混合模型