0

我试图了解我们如何使用Edward 模型进行正则化。我还是 tensorflow 的新手（用作 Edward 的后端）。考虑下面的模型，

# prior
w=Normal(loc=tf.zeros((d,c)),scale=tf.ones((d,c)))

# likelihood
y=Categorical(logits=tf.matmul(X,w))

# posterior
loc_qw = tf.get_variable("qw/loc", [d, c])
scale_qw = tf.nn.softplus(tf.get_variable("qw/scale", [d, c]))
qw = Normal(loc=loc_qw, scale=scale_qw)

# inference 
inference = ed.KLqp({w: qw, b: qb}, data={X:train_X, y:train_y})

我注意到 Edward 在其损失函数中使用了正则化损失。 loss = -(p_log_lik - kl_penalty - reg_penalty)

但是，我不知道如何将正则化损失应用于 Edward 模型。我们如何在上述模型中添加 L1 或 L2 正则化？

谢谢！

4

1 回答 1

0

我知道 Normal 先验等同于 l2 正则化。如果先验不正常并且我们想要规范我们在随机优化期间尝试估计的参数，则进行成像。

我发现这可以使用后验中 tf 变量的正则化参数来完成。

loc_qw = tf.get_variable("qw/loc", [d, c], regularizer=tf.contrib.layers.l2_regularizer(reg_scale) )

于 2018-08-21T05:33:34.833 回答