1

反向传播计算dW每个模式的每个权重（权重增量），因此在进行随机训练时如何修改权重很简单。但是，我如何将它用于批量训练？简单地累积dW整个训练集，然后应用修改，还是还有更多？

4

2 回答 2

2

您可以使用来自不同样本的不同梯度做很多事情。这包括高阶信息（近似二阶导数）或共轭梯度或自然梯度或...... :)

于 2010-01-26T19:39:55.127 回答
0

是的，只需在整个训练集上累积 dW。至少那是我在研究生院的编码方式......

于 2010-01-26T14:32:58.757 回答