softmax - 如果我在 RBM 中使用 softmax，我是否需要在隐藏单元和可见单元中使用它？

Question

据我了解，当在 RBM 可见单元中使用 K 值的 softmax 时，隐藏单元保持二进制。

如果是这样 - 我不确定如何计算二进制单位对可见单位的贡献。我是否应该将隐藏单元中的二进制 0 状态与 softmax 的 K 个状态中的特定状态相关联，并将 1 状态与其他 K-1 状态相关联？或者，隐藏单元中的 0 可能与可见单元的所有 K 个可能状态中的 0 相关（但这不与至少 K 个状态中的一个必须打开的事实相矛盾吗？）。

Answer 1

我想我已经弄清楚了我的误解：softmax 单元表现为二进制子单元组，每个子单元对隐藏单元都有自己的权重。这意味着隐藏层和可见层之间的权重矩阵是 3 维的，而不是 2 维，现在很明显如何计算贡献。