0

我正在尝试为我自己的 NN 正确实施迷你批处理。

但是我无法理解正在总结的内容？我是否对权重和偏差的梯度或增量权重（学习率已经相乘）求和，在我的示例中是：

三角洲重量：activation'(neurons) ⊗ Error * learningRate x input

三角洲偏差：activation'(neurons) ⊗ Error * learningRate

我是否还将这些总和的增量权重或梯度除以批量大小？

编辑：

所以所有问题总结起来：

  • 没有学习率的增量权重称为梯度吗？
  • 我是否需要将这些增量权重加起来，无论是否乘以学习率
  • 所以我必须保存两个单独的渐变？（偏差+权重）
4

1 回答 1

0

在研究了一整晚并查看了很多博客/文章后，我得出了这些答案（对我有用！）

1）没关系，人们称两者为“梯度”

2）没有学习率

3）是的，在完成批次时，您将学习率相乘（......如果实施，则进行动量优化）

于 2019-06-29T12:53:04.587 回答