我想用 cuDNN 实现 LeNet-5,并尝试在 MNIST 数据集上训练网络。
网络的最后一层是'Softmax',我在转发过程中使用了函数'cudnnSoftmaxForward()'。然后,我想在后向过程中使用函数'cudnnSoftmaxBackward()',但我不确定函数'cudnnSoftmaxBackward()'--'dy'中的参数之一。
NVIDIA提供的函数'cudnnSoftmaxtBackward'是:
在 API 中,我知道“dy”表示“input_diff”,但 softmax 层是最后一层,如何为函数“cudnnSoftmaxBackward()”提供“input_diff”?我可以用“网络目标输出”和“网络实际输出”之间的差异来提供它吗?