1

我有一个 RNN 模型。大约 10K 次迭代后,损失停止下降,但损失还不是很小。这是否总是意味着优化被困在局部最小值中?

一般来说,我应该采取什么行动来解决这个问题?添加更多训练数据?更改不同的优化方案(现在是 SGD)?还是其他选择?

非常感谢!

JC

4

1 回答 1

2

如果您正在使用基于梯度向量的算法训练您的神经网络,Back Propagation或者Resilient Propagation当它找到局部最小值时它可能会停止改进,并且由于这种类型的算法的性质,这是正常的。在这种情况下,传播算法用于搜索(梯度)向量指向的内容。

作为建议,您可以在训练期间添加不同的策略来探索搜索空间,而不是仅搜索。对于样本,aGenetic AlgorithmSimulated Annealing算法。这些方法将提供对可能性的探索,并且可以找到全局最小值。您可以为传播算法的每 200 次迭代实施 10 次迭代,从而创建混合策略。对于示例(它只是一个伪代码):

int epochs = 0;
do
{
   train();

   if (epochs % 200 == 0)
      traingExplorativeApproach();

   epochs++;
} while (epochs < 10000);

我已经开发了一个这样的策略,使用Multi-Layer PerceptronsElman recurrent neural networkinclassificationregressions问题,在这两种情况下,混合策略提供了比单一传播训练更好的结果。

于 2016-04-04T15:39:54.903 回答