neural-network - Torch7 的“nn”包中的 gradInput 和 gradOutput 是什么？

Question

嗨，我是使用 Torch 的 'nn' 包的初学者。在过去的两周里，我对 Torch 的 'nn' 库中的 gradInput 和 gradOutput 的含义感到非常困惑。我相信这里的“grad”是指梯度，但这两个变量到底指的是什么？

感谢任何人的帮助！

Answer 1

gradOutput：模块输出的梯度。这是从损失函数或从当前模块旁边的模块传入的。它用于计算输入的梯度（gradInput）和模块参数的梯度（gradWeight / gradBias）