machine-learning - 需要陷入神经网络中的局部最优

Question

我需要陷入前馈神经网络中的局部最优。我需要一个示例和权重初始化，使用最陡梯度下降将陷入局部最优（在每个维度的特定边界权重内）。我找不到这样的例子，至少看起来如此，因此无法测试新算法。

谁能指出一些文件、资源，或者给我一个如何陷入局部最优的例子。

Answer 1

让我们分析一下“陷入局部最优”是什么意思。看看SARPROP 论文。SARPROP 是一种前馈神经网络的学习算法，其目标是避免陷入局部最优。查看链接文档第 3 页上的图 1。它显示了关于单个重量的误差表面. 在训练的早期阶段，这个误差面会迅速改变。但是一旦算法接近收敛，这个关于一个权重的误差面就会稳定下来。现在，如果您的学习算法无法将权重“推”过“山丘”以达到更好的最优值，那么您就陷入了某个权重的局部最优。SARPROP 试图通过向原始 RPROP 中涉及的权重更新添加正噪声来解决这个问题。所以算法有机会被推出这样的“山谷”。

现在，为了构建局部最优的收敛，您应该计算一组随机权重，这些权重在下面保持固定。现在使用一种已知可以快速收敛到局部最优的学习算法，例如 RPROP。然后使用相同的权重初始化并应用 SARPROP 或您的新算法。然后在网络收敛后立即比较训练数据上的均方根误差。使用数百个权重初始化并应用统计信息来执行此操作。