machine-learning - 你能把 RBM 看作是一种乘法神经网络吗？

Question

神经网络对权重求和，但 RBM ......将权重乘以概率？那么 RBM 是不是有点像双向神经网络，将权重相乘而不是相加？

Answer 1

首先，受限玻尔兹曼机是一种神经网络，因此 NN 和 RBM 之间没有区别。我认为 NN 是指传统的前馈神经网络。另外，请注意，前馈神经网络和 RBM 都不是完全连接的网络。术语“完全连接”来自图论，意味着每个节点都连接到其他每个节点，这显然不是这里的情况。然而，这些层是从一个到另一个完全连接的。

传统的前馈神经网络

传统的 FNN 模型是一种用于建模数据的监督学习算法。要训​​练这个网络，需要一个包含标记实例的数据集。将每个项目呈现给网络，连续计算网络上每一层的激活，直到到达输出层，然后将输出与目标输出（标签）进行比较。然后通常使用反向传播算法来获得每个单元的权重和偏差的梯度，以便通过梯度下降来更新这些参数。通常，整个数据集或其中的批次一次通过网络传递，并针对它们全部计算参数更新。

成果管理制

RBM 模型是Boltzmann 机器模型的一个版本，其计算效率受到限制。RBM 是在同一层的单元之间没有连接的 BM。这不是详细介绍的地方，但我会为您指出一些外部资源。该算法有许多变体，网上的解释并没有说明这一点，对于没有经验的人也不是很有用。

神经网络是用于将模型拟合到数据集的算法。在 RBM 中，我们尝试使用 2 层节点来做到这一点：我们设置为输入的“可见层”和用于对输入层建模的“隐藏层”。至关重要的是，学习过程是无监督的。训练涉及使用隐藏层重建可见层，并使用重建前后节点状态之间的差异更新权重和偏差（我已经非常简化了这个解释；有关更多信息，请注意这种训练算法称为对比散度（光盘））。另请注意，在此模型中神经元被概率激活。每层之间的连接是双向的，因此网络形成了一个二分图。

重要的是，RBM ​​不会像 FNN 那样产生输出。至此，它们通常用于在添加输出层之前训练网络，并且将另一种算法（例如自动编码器）与 RBM 学习的权重一起使用。

查看这些资源：

• http://blog.echen.me/2011/07/18/introduction-to-restricted-boltzmann-machines/
• http://halfbakedmaker.org/?p=11748
• http://deeplearning.net/tutorial/rbm.html
• https://en.wikipedia.org/wiki/Restricted_Boltzmann_Machine
• http://image.diku.dk/igel/paper/AItRBM-proof.pdf
• http://makandracards.com/mark/6817-bm-rbm-for-beginners

一般来说

任何网络的性能取决于其参数和设计选择以及它所应用的问题。RBM 和 FNN 适用于不同类型的问题。

我强烈推荐在 Coursera 上 Geoffrey Hinton 的课程“机器学习的神经网络”——该课程已经开课，但讲座是免费提供的。

Answer 2

RBM 不会“乘以它的权重”，在一个神经元的水平上，它的作用与“典型”神经网络中的神经元完全相同，唯一的区别是它的随机性。