我正在使用反向传播技术创建一个神经网络进行学习。
我知道我们需要找到所使用的激活函数的导数。我正在使用标准的 sigmoid 函数
f(x) = 1 / (1 + e^(-x))
我已经看到它的导数是
dy/dx = f(x)' = f(x) * (1 - f(x))
这可能是一个愚蠢的问题,但这是否意味着我们必须在方程期间将 x 通过 sigmoid 函数两次,所以它会扩展为
dy/dx = f(x)' = 1 / (1 + e^(-x)) * (1 - (1 / (1 + e^(-x))))
或者只是将已经计算出f(x)
的输出(即神经元的输出)替换为 的问题f(x)
?