pymc3 - 使用 pymc3 进行逻辑回归 - 在 glm 中构建的先验是什么？

Question

在逻辑回归的情况下，通过将 glm 与 pymc3 一起使用，我无法找到确切的解释。所以我将 GLM 版本与显式 pymc3 模型进行了比较。我开始为文档编写 ipython 笔记本，请参阅：

http://christianherta.de/lehre/dataScience/machineLearning/mcmc/logisticRegressionPymc3.slides.php

我不明白的是：

• GLM 中的参数使用什么先验？我假设它们也是正态分布的。与 GLM 中的构建相比，我的显式模型得到了不同的结果。（见上面的链接）

• 使用较少的数据，采样会被卡住和/或我得到的结果非常糟糕。有了更多的训练数据，我无法观察到这种行为。这对mcmc来说正常吗？

笔记本上有更多问题。

感谢您的回答。

Answer 1

GLM 中的参数使用什么先验

GLM 是方法族的名称。两个流行的先验：高斯（对应于 l2 正则化）和拉普拉斯（对应于 l1），通常是第一个。

使用较少的数据，采样会被卡住和/或我得到的结果非常糟糕。有了更多的训练数据，我无法观察到这种行为。这对mcmc来说正常吗？

你玩过之前的参数吗？如果模型在少量数据的情况下表现不佳，这可能是由于强先验（= 正则化太高），这成为优化的主要术语。