algorithm - 用于训练神经网络的反向传播

Question

我想用这篇文章来构建神经网络，但是在权重向量的更新算法上遇到了一些问题。具体来说，用红色标记的公式。谁能帮我理解，什么是 hm(i) 和符号“|” 方法？

Answer 1

这看起来像是神经网络训练误差梯度的反向传播计算。 Bishop（第 244 页）列出了一个关键公式：

δj = h'(aj) SUM(k, wkj δk)

δ是隐藏或输出节点的预测值和标记值之间的误差。δ右侧的项已经计算过了，并且对应于正在考虑的下一层输出方向。

该h'术语是非线性激活函数的导数，通常是sigmoid 函数或tanh。您的图像中列出hm的看起来像是tanh变量变化的导数。

竖线是评估的语法：f(t) = f(x) | t. 我不太清楚你图片中的表情是什么；我可能是错的。