我有一个 RNN 模型。大约 10K 次迭代后,损失停止下降,但损失还不是很小。这是否总是意味着优化被困在局部最小值中?
一般来说,我应该采取什么行动来解决这个问题?添加更多训练数据?更改不同的优化方案(现在是 SGD)?还是其他选择?
非常感谢!
JC
我有一个 RNN 模型。大约 10K 次迭代后,损失停止下降,但损失还不是很小。这是否总是意味着优化被困在局部最小值中?
一般来说,我应该采取什么行动来解决这个问题?添加更多训练数据?更改不同的优化方案(现在是 SGD)?还是其他选择?
非常感谢!
JC
如果您正在使用基于梯度向量的算法训练您的神经网络,Back Propagation
或者Resilient Propagation
当它找到局部最小值时它可能会停止改进,并且由于这种类型的算法的性质,这是正常的。在这种情况下,传播算法用于搜索(梯度)向量指向的内容。
作为建议,您可以在训练期间添加不同的策略来探索搜索空间,而不是仅搜索。对于样本,aGenetic Algorithm
或Simulated Annealing
算法。这些方法将提供对可能性的探索,并且可以找到全局最小值。您可以为传播算法的每 200 次迭代实施 10 次迭代,从而创建混合策略。对于示例(它只是一个伪代码):
int epochs = 0;
do
{
train();
if (epochs % 200 == 0)
traingExplorativeApproach();
epochs++;
} while (epochs < 10000);
我已经开发了一个这样的策略,使用Multi-Layer Perceptrons
和Elman recurrent neural network
inclassification
和regressions
问题,在这两种情况下,混合策略提供了比单一传播训练更好的结果。