在神经网络的训练中有几个优化器。但是 Momentum 和 SGD 似乎总是比自适应方法好。
现在我正在用 tensorflow 编写一个程序来重现其他人的结果。他们利用动力来训练pylearn2。但是有几个参数：动量因子、权重尺度、偏差尺度。他们将权重标度分配为 dropout 层的权重。
当我训练我的网络时，我使用 Momentum。但是，结果似乎太难训练了，而且损失总是很高。我用adam训练的结果似乎还不错，但结果比他的差0.00X。
我想知道如何调整 Momentum 优化器。而且我也想知道我的程序运行不好的原因。