我正在研究用于图像分类的 RBM（用于 DBN）。我使用两个 RBM 层。第一个具有高斯可见单元和二进制隐藏单元，第二个具有二进制可见单元和 softmax 隐藏单元。它工作得很好。我现在想尝试使用噪声校正线性单元作为隐藏层，但我不明白如何实现它们。我所尝试的一切都导致了可怕的结果。
现在，如果我理解正确：ReLU 的激活概率只是 p = max(0, x + N(0, 1))，但是如何对值进行采样以激活可见单元？噪声是否应该仅用于采样而不用于激活概率？
另一件事：在一些论文中，我看到噪声是 N(0,1)，而另一些则使用 N(0,sigmoid(x))。
那么，激活函数应该是什么以及应该如何对值进行采样？