“backpropagation”的相关标签问题

0 投票

2 回答

1691 浏览

nlp - 用于 OCR 的多层感知器

我打算使用经过反向传播训练的多层感知器网络（一个隐藏层，输入用作包含图像中黑白像素的 8x8 位矩阵）。出现以下问题：

我应该使用哪种类型的学习：批量学习还是在线学习？
我如何估计隐藏层中正确的节点数？我打算处理英文字母的26个字母。
我怎样才能停止训练过程，以避免过度拟合？
（不太相关）是否有另一个比 MLP 表现更好的 NN？我知道 MLP 会陷入局部最小值、过度拟合等问题，那么是否有更好的（基于软计算的）方法？

谢谢

0 投票

4 回答

2026 浏览

neural-network - 神经网络反向传播？

谁能推荐一个网站或简要介绍如何在 NN 中实现反向传播？我了解基本概念，但不确定如何编写代码。

我发现的许多资料都只是简单地显示了方程式，而没有解释为什么要这样做，而且变量名很难找到。

例子：

在那个例子中，有人可以解释

谢谢。

neural-network backpropagation

0 投票

2 回答

2858 浏览

batch-file - 反向传播和批量训练

反向传播计算dW每个模式的每个权重（权重增量），因此在进行随机训练时如何修改权重很简单。但是，我如何将它用于批量训练？简单地累积dW整个训练集，然后应用修改，还是还有更多？

batch-file machine-learning neural-network backpropagation

0 投票

1 回答

799 浏览

machine-learning - 单网络 - 多输出，还是多网络 - 单输出？

在设计具有多个输出的前馈神经网络时，具有具有多个输出的单个网络与具有多个网络且每个具有单个输出之间是否存在概念差异（计算效率除外）？

尽管同一网络中的输出神经元不会“即时”相互影响，但它们确实会影响训练，因为来自每个输出的误差会反向传播并影响隐藏层的权重，进而影响其他输出的值.

有没有可以更好地解决的问题？直觉上，我会说单个网络更适合一次只有一个输出应该处于活动状态的问题（即 OCR），其中多个网络更适合多个输出可以同时处于活动状态的问题（即当每个输出对应于某些特征时）在输入中，其中几个可以同时出现）。但这只是直觉。它实际上成立吗？

machine-learning neural-network perceptron backpropagation

0 投票

3 回答

11548 浏览

computer-science - 了解神经网络反向传播

更新：问题的更好表述。

我试图以 XOR 神经网络为例来理解反向传播算法。对于这种情况，有 2 个输入神经元 + 1 个偏置，隐藏层中的 2 个神经元 + 1 个偏置，以及 1 个输出神经元。

_{（来源：wikimedia.org）}

我正在使用随机反向传播。

在阅读了更多内容后，我发现输出单元的误差被传播到隐藏层......最初这很令人困惑，因为当你到达神经网络的输入层时，每个神经元都会得到一个误差调整来自隐藏层中的两个神经元。尤其是误差的分布方式，一开始很难掌握。

第 1 步计算每个输入实例的输出。
第 2 步计算输出神经元（在我们的例子中只有一个）和目标值之间的误差：第 3 步我们使用第 2 步的误差来计算每个隐藏单元 h 的误差：

“权重 kh”是隐藏单元 h 和输出单元 k 之间的权重，这很容易混淆，因为输入单元没有与输出单元相关的直接权重。盯着公式看了几个小时后，我开始思考求和是什么意思，我开始得出结论，连接到隐藏层神经元的每个输入神经元的权重乘以输出误差并求和. 这是一个合乎逻辑的结论，但公式似乎有点混乱，因为它清楚地表示了“权重 kh”（在输出层 k 和隐藏层 h 之间）。

我在这里正确理解一切吗？有人可以证实这一点吗？

输入层的 O(h) 是多少？我的理解是每个输入节点都有两个输出：一个进入隐藏层的第一个节点，一个进入第二个节点隐藏层。两个输出中的哪一个应该插入O(h)*(1 - O(h))公式的部分？

computer-science machine-learning neural-network backpropagation

0 投票

3 回答

9576 浏览