6

给定一个前馈神经网络，如何：

  1. 确保它独立于输入的顺序？例如，输入 [0.2, 0.3] 将输出与 [0.3, 0.2] 相同的结果；
  2. 确保它独立于输入组的顺序？例如，喂食 [0.2, 0.3, 0.4, 0.5] 将输出与 [0.4, 0.5, 0.2, 0.3] 相同的结果，但不是 [0.5, 0.4, 0.3, 0.2]；
  3. 确保输入序列的排列将给出输出序列的排列。例如，如果 [0.2, 0.3] 作为输出 [0.8, 0.7]，则 [0.3, 0.2] 作为输出 [0.7, 0.8]。

鉴于上述情况：

  1. 除了确保火车集涵盖所有可能的排列之外，还有其他解决方案吗？
  2. 隐藏层的奇偶性是否受到某种约束（即隐藏层中的神经元数量必须是奇数或偶数）？
  3. 在权重矩阵中寻找某种对称性是否有意义？
4

2 回答 2

0

这是我尽我所能回答问题的尝试

如何

  1. 要获得所需的结果，您可以

    • 训练所有排列
    • 对输入数据进行排序并进行训练（因此不必额外学习排列）

  2. 要获得要求的结果，您确实有两种可能性

    • 训练所有排列（耗时）
    • 或者更好的是，使用另一种类型的网络，例如带有回声状态网络训练算法的循环神经网络（此处为论文）

  3. 我会尝试用回声状态网络算法再次解决它

即使第二个和第三个问题的可能解决方案不是前馈网络，我也希望它有所帮助。

回答问题

3我认为在权重矩阵中寻找对称性没有任何意义。

于 2013-04-08T08:58:06.950 回答
0

好吧，这对 NN 来说似乎是一项艰巨的工作，但是 1. 我会进行一些预处理，也许还有后处理脚本会处理您的所有排列，确保将最简单的输入提供给 NN。我认为前（后）处理比调整 NN（添加一个或多个隐藏层）更容易实现您的目标

2&3 NN 通常被认为是黑盒。这意味着您对其进行训练并仅分析输入和输出。在大多数情况下，试图理解它是如何在内部工作的（当然也有一些例外，例如，如果你有功能神经网络并且你想挖掘一些知识 - 但正如我所说 - 它很费时间）。

一般来说，对于每层隐藏神经元的数量没有限制。此外，除非您试图找到一些知识，否则在权重矩阵中寻找对称性是没有意义的......

于 2013-03-06T09:41:32.603 回答