machine-learning - 表示 Exp 中的对数似然。最大化算法

Question

我已经实现了exp。mu最大化算法，它会收敛并正确返回 和 的值sigma，我已经检查了各种示例。

我试图绘制对数似然，但我不知道它会以正确的形式出现吗？这是等式： 我的情节，y是对数似然值，x是迭代次数。

负值很奇怪，也许我应该标准化可能性？对数似然在 Exp 中意味着什么。最大化？

logLikelihood = 0;
for i = 1 : n
    logTemp = 0;
    for j = 1 : k
        logTemp =  logTemp + p(j) * mvnpdf(x(i,:), mu(j,:), sigma(:,:,j));
    end
    logLikelihood = logLikelihood + log(logTemp);
end
plot(iteration, logLikelihood,'r*');
hold on;

Answer 1

对数概率总是负数，因为它是概率的对数（p<1）。您的概率（不是 logprop。）的顺序是 p=10^-1000，这是正常的。例如，10000 次有偏骰子掷骰的最可能序列的概率非常小（但其他序列的可能性更小）。

logpropability 是一种避免概率消失的结构，即程序只会将它们四舍五入为零，并且当它这样做时，程序很可能会崩溃，例如除以一些归一化为零。