伯努利混合模型

R 中的混合模型

Victor Medina

Researcher at The University of Edinburgh

手写数字数据集

连续变量 vs 离散变量

高斯分布

伯努利分布（掷硬币）

伯努利分布

两种可能结果
- "反面"或"正面"
- "黑"或"白"
用"成功"概率表示 → p
- (1 - p) = 另一种结果的概率

伯努利分布的样本

p <- 0.7
bernoulli <- sample(c(0, 1), 100, replace = TRUE, prob = c(1-p, p))
head(bernoulli)

1 1 1 0 0 1

将二值图像视为伯努利分布

将二值图像视为伯努利向量

p1 <- 0.7; p2 <- 0.5; p3 <- 0.4

bernoulli_1 <- sample(c(0, 1), 100, replace = TRUE, prob = c(1-p1, p1))
bernoulli_2 <- sample(c(0, 1), 100, replace = TRUE, prob = c(1-p2, p2))
bernoulli_3 <- sample(c(0, 1), 100, replace = TRUE, prob = c(1-p3, p3))

multi_bernoulli <- cbind(bernoulli_1, bernoulli_2, bernoulli_3)

head(multi_bernoulli, 4)

     bernoulli_1 bernoulli_2 bernoulli_3
[1,]           1           0           0
[2,]           0           0           0
[3,]           0           0           1
[4,]           1           0           0

p_vector <- c(p1, p2, p3)

伯努利混合模型

手写数字数据集：

适用的概率分布是什么？
- （多元）伯努利分布。
需要考虑多少个子群体？
- 先试两个，即两个长度为 256 的二值向量。
参数及其估计是什么？
- 每个二值向量的各个 p，以及两个混合比例。

Vamos praticar!

R 中的混合模型