我正在尝试开发一种新的权重初始化方法，但我遇到了一个奇怪的训练现象。您可以看到输出节点 8 永远不是最大激活...
我正在使用具有 tansig 激活、mse 性能和无偏置节点的 matlab patternnet。我正在尝试对 mnist 数据库的一个子集进行分类。
有谁知道如何解决这个问题？尽管具有相同的架构，但使用 nguyen-widrow 初始化不会看到此结果。
编辑：
输入：768xN 个介于 0 和 1 之间的值
目标：每行 10xN 个值 0 或 1。所以它就像一个逻辑矩阵，每列有 1 个真值。
一个或多个节点没有激活，我展示了最好的情况。
这发生在一层或多层（1 到 5）、更少或更多的训练数据（1k 到 10k 个样本）中。