machine-learning - 为什么马尔可夫随机场中的推理很难？

Question

我正在研究马尔可夫随机场，显然，MRF 中的推理很难/计算成本很高。具体来说，Kevin Murphy 的《机器学习：概率视角》一书说：

“在第一项中，我们将 y 固定为其观察值；这有时称为钳位项。在第二项中，y 是自由的；这有时称为未钳位项或对比项。请注意，计算未钳位项需要推理在模型中，这必须在每个梯度步骤中完成一次。这使得训练无向图模型比训练有向图模型更难。

为什么我们在这里进行推理？我知道我们正在对所有 y 求和，这似乎很昂贵，但我看不出我们实际上在哪里估计任何参数。Wikipedia 还讨论了推理，但只讨论了计算条件分布，以及需要对所有未指定的节点求和……但是……这不是我们在这里要做的，是吗？

或者，任何人都对为什么 MRF 中的推理很困难有很好的直觉？

具体部分见下文

score 1 · Accepted Answer

在训练你的 CRF 时，你想估计你的参数，\theta.

为了做到这一点，您可以将损失函数（方程 19.38）相对于微分\theta，将其设置为 0，然后求解\theta。

\theta但是，如果您这样做，您将无法解析方程。但是，您可以通过梯度下降来最小化方程 19.38。由于损失函数是凸的，因此可以保证梯度下降在收敛时为您提供全局最优解。

等式 19.41 是您需要计算的实际梯度，以便能够进行梯度下降。第一项很容易计算（计算成本低），因为您对的观察值进行总结y。但是，第二项要求您进行推理。在本项中，您不会像在第一项中那样对 y 的观察值进行总结。相反，你需要计算y(inference)的配置，然后在这个配置下计算势函数的值。

1 回答 1