machine-learning - 比较贝叶斯线性回归与线性回归

Question

最近学习了贝叶斯线性回归模型，但是比较疑惑的是什么情况下应该使用线性回归，什么时候使用贝叶斯版本。这两个人的表现如何？贝叶斯逻辑回归和逻辑回归是否相同？我读了一篇关于使用贝叶斯概率回归预测广告点击率的论文，我只是想知道为什么使用贝叶斯版本？

Answer 1

在您的两种情况下，线性回归和逻辑回归，贝叶斯版本在贝叶斯推理的背景下使用统计分析，例如，贝叶斯线性回归。

根据维基百科，

这种（普通线性回归）是一种常客方法，它假设有足够的测量值来说明有意义的事情。在贝叶斯方法中，数据以先验概率分布的形式补充了额外的信息。根据贝叶斯定理，关于参数的先验信念与数据的似然函数相结合，以产生关于参数的后验信念。

常用的贝叶斯分析方式（加入贝叶斯味道）：

1. 找出数据的似然函数。
2. 选择所有未知参数的先验分布。
3. 使用贝叶斯定理找到所有参数的后验分布。

为什么是贝叶斯版本？^[1]

• 贝叶斯模型更灵活，处理更复杂的模型。
• 贝叶斯模型选择可能更胜一筹（BIC/AIC）。
• 贝叶斯层次模型更容易扩展到许多层次。
• 哲学差异（与常客分析相比）。
• 贝叶斯分析在小样本中更准确（但可能取决于先验）。
• 贝叶斯模型可以包含先验信息

这提供了一些关于贝叶斯分析的好演讲幻灯片。