lda - 为什么我们需要 LDA 中的超参数 beta 和 alpha？

Question

我试图了解潜在狄利克雷分配（LDA）的技术部分，但我有几个问题：

第一：为什么我们每次对下面的等式进行采样时都需要添加 alpha 和 gamma？如果我们从方程中删除 alpha 和 gamma 怎么办？是否还有可能得到结果？

第二：在 LDA 中，我们为文档中的每个单词随机分配一个主题。然后，我们尝试通过观察数据来优化主题。上面等式中与后验推断相关的部分在哪里？

Answer 1

如果您查看Wiki 上的推理推导，引入 alpha 和 beta 仅仅是因为 theta 和 phi 都来自分别由它们唯一确定的 Dirichlet 分布。选择狄利克雷分布作为先验分布（例如 P(phi|beta)）的原因主要是为了通过利用良好的共轭先验形式使数学变得可行（这里是狄利克雷和分类分布，分类分布是跨国分布的一个特例，其中n设置为1，即只有一次试验）。此外，Dirichlet 分布可以帮助我们“注入”我们的信念，即 doc-topic 和 topic-word 分布以文档或主题的几个主题和单词为中心（如果我们设置低超参数）。如果您删除 alpha 和 beta，我不确定它会如何工作。

后验推理被联合概率推理取代，至少在吉布斯抽样中，你需要联合概率，同时选择一个维度来“转换状态”，就像 Metropolis-Hasting 范式所做的那样。你放在这里的公式本质上是从联合概率 P(w,z) 推导出来的。我想向您推荐这本书Monte Carlo Statistical Methods (Robert)，以充分理解推理为何有效。