machine-learning - 如何计算卷积神经网络中的偏差梯度？

Question

我很难在网上找到有关如何使用卷积神经网络中的偏差进行反向传播的资源。偏差是指添加到卷积产生的每个数字的数字。

这是一张图片进一步解释

我知道如何计算过滤器权重的梯度，但我不确定如何处理偏差。现在我只是通过该层的平均误差来调整它。这个对吗？

Answer 1

它类似于标准神经网络中的偏差梯度，但在这里我们将所有梯度与卷积输出相加：

其中L是损失函数，w和h是conv输出的宽度和高度，是conv输出wrt损失函数的梯度。

因此，b 的梯度是通过将每个位置 (w, h) 处的所有卷积输出梯度与损失函数 L 相加来计算的。

希望这可以帮助。