machine-learning - 使用 ContrastiveDivergence 计算 RBM 导数的差异

Question

谁能解释我用 -h_j * x_k 和 -h_j(x) * x_k 计算 RBM 导数之间的区别？我找到了两种实现的源代码，但我不确定哪个更好（为什么？）

Answer 1

h_j 和 h_j(x) 是指第 j 个隐藏神经元样本还是第 j 个隐藏神经元 sigmoidal 激活？假设是这样，如果你计算负对数似然函数的导数，结果是 P(h_j = 1) * x_k。