10

有人可以就如何并行化PyMC MCMC代码给出一些一般性说明。我正在尝试按照此处LASSO给出的示例运行回归。我在某处读到默认情况下会进行并行采样，但是我还需要使用类似的东西来使其工作吗？Parallel Python

这是一些我希望能够在我的机器上并行化的参考代码。

x1 = norm.rvs(0, 1, size=n)
x2 = -x1 + norm.rvs(0, 10**-3, size=n)
x3 = norm.rvs(0, 1, size=n)

X = np.column_stack([x1, x2, x3])
y = 10 * x1 + 10 * x2 + 0.1 * x3

beta1_lasso = pymc.Laplace('beta1', mu=0, tau=1.0 / b)
beta2_lasso = pymc.Laplace('beta2', mu=0, tau=1.0 / b)
beta3_lasso = pymc.Laplace('beta3', mu=0, tau=1.0 / b)

@pymc.deterministic
def y_hat_lasso(beta1=beta1_lasso, beta2=beta2_lasso, beta3=beta3_lasso, x1=x1, x2=x2, x3=x3):
    return beta1 * x1 + beta2 * x2 + beta3 * x3

Y_lasso = pymc.Normal('Y', mu=y_hat_lasso, tau=1.0, value=y, observed=True)

lasso_model = pymc.Model([Y_lasso, beta1_lasso, beta2_lasso, beta3_lasso])
lasso_MCMC = pymc.MCMC(lasso_model)
lasso_MCMC.sample(20000,5000,2)
4

2 回答 2

10

PYMC3 已将 psample 合并到sample中。

要并行运行，请设置参数njobs > 1。

pymc.sample 函数的用法是：

sample(draws, step, start=None, trace=None, chain=0, njobs=1, tune=None, progressbar=True, model=None, random_seed=None) 请注意，如果您设置njobs=None，它将默认为 Number of CPUs - 2。

我希望这有帮助。

于 2014-10-16T17:28:19.900 回答
10

看起来您正在使用 PyMC2，据我所知，您必须使用一些 Python 方法进行并行计算，例如IPython.parallel。有很多方法可以做到这一点，但我知道的所有方法都有点复杂。这是一个使用 PyMC2、IPCluster 和 Wakari 的示例。

在 PyMC3 中，psample方法中实现了并行采样，但您的参考代码需要更新为 PyMC3 格式：

with pm.Model() as model:
    beta1 = pm.Laplace('beta1', mu=0, b=b)
    beta2 = pm.Laplace('beta2', mu=0, b=b)
    beta3 = pm.Laplace('beta3', mu=0, b=b)

    y_hat = beta1 * x1 + beta2 * x2 + beta3 * x3
    y_obs = pm.Normal('y_obs', mu=y_hat, tau=1.0, observed=y)

    trace = pm.psample(draws=20000, step=pm.Slice(), threads=3)
于 2014-05-19T12:05:36.093 回答