machine-learning - 为什么我们选择 Beta 分布作为假设的先验？

Question

我在 CMU 看过 Tom Mitchell 的 2011 年 10-701 课程的机器学习课程视频。当他在theta上使用Beta分布作为先验时，他正在教授最大似然估计主题，我想知道他只选择了那个吗？

Answer 1

在本讲中，Mitchell 教授给出了一个抛硬币的例子，并估计了它的公平性，即正面的概率 - theta。他合理地为这个实验选择了二项分布。

为先验选择beta 分布的原因是为了在计算后验时简化数学。这很好用，因为 beta 是二项式的共轭先验——在同一讲座的最后，教授提到了它。这并不意味着不可能使用任何其他先验，例如正态、泊松等。但是其他先验导致复杂的后验分布，难以优化、计算积分等。

这是一个一般原则：在更复杂的分布之前更喜欢共轭，即使它不完全适合数据，因为数学更简单。