问题标签 [expectation-maximization]

期望最大化（EM）是一种对数据进行分类的概率方法。如果我错了，如果它不是分类器，请纠正我。

这种 EM 技术的直观解释是什么？这里是expectation什么，是什么maximized？

我正在尝试使用 GMM 来找到视频帧中不同颜色的期望最大化。然后据此，我将确定哪个是主色。

为此，我的问题是如何执行基于 GMM 的 EM 来获取和比较对不同颜色的期望？

Can you anybody explain how to prove the convergence of the Expectation Maximization algorithm?

For example EM for coins problems: https://math.stackexchange.com/questions/25111/how-does-expectation-maximization-work

我正在尝试使用 Viterbi 算法在 HMM 上找到最可能的路径（即状态序列）。但是，我不知道转换和发射矩阵，我需要从观察（数据）中估计。

要估计这些矩阵，我应该使用哪种算法：Baum-Welch 或 Viterbi 训练算法？为什么？

如果我应该使用维特比训练算法，谁能给我一个好的伪代码（不容易找到）？

在伯努利分布混合的情况下，我正在尝试写下 EM 的 MAP 更新。

我知道对于 ML 估计，我们有：

其中 p 是每个类的向量参数（其中 K 个，每个大小为 D，其中 K 是类数，D 是特征数），t 是每个类的多项式参数。

但是我如何获得 MAP 估计值？p(X) 会是什么...？

背景： 我有2组来自图像的颜色像素，一组对应于背景，另一组对应于前景。接下来，我使用 OpenCV 的 EM 为每组训练 2 个高斯混合模型。我的目标是找出随机像素属于前景和背景的概率。因此，我对像素上的每个 EM 使用“预测”函数。

问题：

• 我不明白这个函数返回的值。在 OpenCV 的文档中是这样写的：

该方法返回一个二元素双精度向量。零元素是样本的似然对数值。第一个元素是给定样本最可能的混合成分的索引。

http://docs.opencv.org/modules/ml/doc/expectation_maximization.html?highlight=predict#Vec2d%20EM::predict%28InputArray%20sample,%20OutputArray%20probs%29%20const

我不明白“似然对数”是什么意思。在我的结果中，我有时会有负值和值 > 1。是否有人使用相同的函数有这种结果或结果在 0 和 1 之间？我可以从我的结果中得出什么结论？

• 如何获得像素属于整个 GMM 的概率（而不是属于 GMM 的每个集群的概率）？

这是我的代码：

编辑

在@BrianL 解释之后，我现在了解了对数可能性。

我的问题是预测函数的对数概率有时> 0。但它应该 <= 0。有没有人遇到过这个问题？

我已经编辑了上面的代码来显示问题。我已经尝试了以下图片的程序：

第一个图像是 ImageCurrent.tif，第二个是 ImageFormer.tif，最后一个是 mask.tif。

这可以被认为是 OpenCV 中的错误吗？我应该在 OpenCV 错误跟踪器上开票吗？

由于我不确定给出的公式，任何人都可以提供 EM 算法的简单数字示例吗？一个非常简单的具有 4 或 5 个笛卡尔坐标的坐标就可以了。

是否有可用于期望最大化 (EM) 算法的 Stata 模块或代码？我似乎找不到任何东西，但我认为值得一试。

我的兴趣是在 EM 中进行记录链接。参见，例如：

• http://www.ncbi.nlm.nih.gov/pmc/articles/PMC1479910/

我最近一直在自学期望最大化，并在这个过程中抓住了一些简单的例子：

http://cs.dartmouth.edu/~cs104/CS104_11.04.22.pdf 有 3 个硬币 0、1 和 2，投掷时有 P0、P1 和 P2 概率落在正面。掷硬币 0，如果结果是正面，则掷硬币 1 3 次，否则掷硬币 2 3 次。硬币1和2产生的观测数据是这样的：HHH，TTT，HHH，TTT，HHH。隐藏数据是硬币 0 的结果。估计 P0、P1 和 P2。

http://ai.stanford.edu/~chuongdo/papers/em_tutorial.pdf 有两个硬币 A 和 B，PA 和 PB 是投掷时正面朝上的概率。每轮随机选择一枚硬币，掷10次，记录结果。观察到的数据就是这两个硬币提供的折腾结果。但是，我们不知道为特定回合选择了哪个硬币。估计 PA 和 PB。

虽然我可以得到计算结果，但我无法将它们的求解方式与原始 EM 理论联系起来。具体来说，在这两个示例的 M-Step 期间，我看不到它们如何最大化任何东西。似乎他们正在重新计算参数，并且不知何故，新参数比旧参数好。而且，这两个E-Step甚至看起来都不相似，更不用说原始理论的E-Step了。

那么这些示例究竟是如何工作的呢？

我可以看到许多与期望最大化算法相关的示例。

很少有链接

期望最大化抛硬币示例
https://math.stackexchange.com/questions/81004/how-does-expectation-maximization-work-in-coin-flipping-problem
https://math.stackexchange.com/questions/25111/如何实现期望最大化工作
http://www.nature.com/nbt/journal/v26/n8/full/nbt1406.html?pagewanted=all

在所有情况下，我们都有一组隐藏的来源（通常是硬币）和一组观察结果（通常是一组抛硬币）。

例如
SRC = { Coin-1, Coin-2 }
OBSERVATIONS ARE
{ HTH, SRC1 },
{ THH, SRC2 },
{ HHH, SRC3 },
{ HTH, SRC4 },
{ HTT, SRC5 }
这里我们选择一个硬币（ unobserved,SRC1) 并折腾 3 次（observed, HTH）。

我的问题是，如果我以抛硬币的形式进行观察，例如
{ H, SRC1 },
{ T, SRC2 },
{ H, SRC3 },
{ H, SRC4 },
{ H, SRC5 }
EM 会为此工作吗案子 ？
如果是这样，结果会是什么？