0

在逻辑回归的情况下,通过将 glm 与 pymc3 一起使用,我无法找到确切的解释。所以我将 GLM 版本与显式 pymc3 模型进行了比较。我开始为文档编写 ipython 笔记本,请参阅:

http://christianherta.de/lehre/dataScience/machineLearning/mcmc/logisticRegressionPymc3.slides.php

我不明白的是:

  • GLM 中的参数使用什么先验?我假设它们也是正态分布的。与 GLM 中的构建相比,我的显式模型得到了不同的结果。(见上面的链接)

  • 使用较少的数据,采样会被卡住和/或我得到的结果非常糟糕。有了更多的训练数据,我无法观察到这种行为。这对mcmc来说正常吗?

笔记本上有更多问题。

感谢您的回答。

4

1 回答 1

0

GLM 中的参数使用什么先验

GLM 是方法族的名称。两个流行的先验:高斯(对应于 l2 正则化)和拉普拉斯(对应于 l1),通常是第一个。

使用较少的数据,采样会被卡住和/或我得到的结果非常糟糕。有了更多的训练数据,我无法观察到这种行为。这对mcmc来说正常吗?

你玩过之前的参数吗?如果模型在少量数据的情况下表现不佳,这可能是由于强先验(= 正则化太高),这成为优化的主要术语。

于 2015-12-05T19:35:46.037 回答