问题标签 [backpropagation]

Silva 和 Almeida 的算法通过为每个权重引入单独的自适应学习率来改进现有的反向传播算法。新学习率的值计算如下：

我读到常量u和d设置为u > 1和d < 1。这些限制相当广泛，那么有没有设置这些值的一般指导方针，还是我必须通过实验来解决我的具体问题？

我是 MATLAB 的新手，我想验证 C 中的在线反向传播（BP）代码。我需要测试代码是否与相同的网络设置完全相同。网络设置为原始 BP（针对 XOR 问题）2 个输入、2 个隐藏节点和 1 个输出。使用的学习率设置为 0.01，动量为 0.95，而停止标准为 0.01，性能度量为 sse。纪元为 1（因为我想检查从前向传播到后向传播的精确计算，以验证网络设置与 C 中的完全相同）这是我的代码：

运行后，我发现 y(1) 为 0.818483286935909 它与手动计数不同，即 0.609299823823181（我通过计算重新检查 ==>

我的问题是：1）原来的 MATLAB 是在使用 traingd 吗？2) 真正的 net = train(net,input,target); y = sim（网络，输入）；使用 train 和 sim 手动计算得到 0.609299823823181 而不是 0.818483286935909 的地方。

3）与上面的matlab代码相比，我在C中的粗略前向传播有什么不同？

拜托，请帮助我。

我一直在为此挠头......基本上我正在尝试进行神经网络反向传播训练。

我相信我的错误反向传播是正确的；但它似乎没有正确训练我的神经网络......

我是图像处理方面的新手，我的第一个任务是制作一个可以识别人脸及其名称的工作程序。到目前为止，我成功地制作了一个项目来检测，裁剪检测到的图像，使其成为 sobel 并将其转换为浮点数组。但是，我很困惑如何实现反向传播 MLP 来学习图像，以便它可以识别检测到的人脸的正确名称。

stackoverflow 的所有专家都非常荣幸能够给我一些示例，如何实现要通过反向传播学习的 Image 数组。

最初我在 Matlab 中实现了一个反向传播网络，并在 XOR 上使用它。但是，现在我使用以下输入/目标组合使用相同的网络。

输入 = [0 0; 0 1; 1000 0; 1 1], 目标 =[0; 1000; 1; 0]

我得到的输出为[1;1;1;1]

网络根本无法学习网络。谁能解释一下为什么会这样？如果我构建一个可以学习这么小的 I/O 网络的网络，我该怎么办？

任何解释都受到高度赞赏。

问候马克斯

I've to write a program which is able to recognize patterns, specially characters. I've implemented back-propagation in c# and now I want to use it for the pattern recognition. I've also created a form application and used brush/graphics so that user can write something with the help of mouse (just like 'pencil tool' in MS Paint). So I need some helping material about "How to implement character recognition method in my application?".

Helping stuff over the internet mostly related to back-propagation and software demos.

我在 VB.NET 中编写了一个反向传播类 - 它运行良好 - 我正在 C# 人工智能项目中使用它。

但我家里有 AMD Phenom X3，学校有 Intel i5。而且我的神经网络不是多线程的。

如何将该反向传播类转换为多线程算法？或者如何在其中使用GPGPU编程？还是我应该使用任何具有多线程反向传播神经网络的第三方库？

我有一个使用反向传播神经网络的 AI 项目。

它训练了大约 1 个小时，它已经从所有 100 个输入中训练了 60-70 个输入。我的意思是，在反向传播的情况下，60-70 个输入是正确的。（训练输入的数量在 60 到 70 之间移动）。

而目前，已经完成了 10000 多个 epoch，每个 epoch 耗时近 0.5 秒。

久而久之，如何知道神经网络能否训练成功？（或者它不能训练得更好？）

我正在用反向传播算法训练一个神经网络，这是总体错误的图表：

（我通过这个公式计算总体误差：http: //www.colinfahey.com/neural_network_with_back_propagation_learning/neural_network_with_back_propagation_learning_en.html 第 6.3 部分：总体训练误差）

我使用了 Power Trendline，经过计算，我发现如果 epochs = 13000 => 总体误差 = 0.2

这不是太高了吗？

这个图表正常吗？看来训练过程会花费太长时间……对吧？我该怎么办？没有更快的方法吗？

编辑：我的神经网络有一个包含 200 个神经元的隐藏层。我的输入和输出层有 10-12 个神经元。我的问题是聚类字符。（它通过监督训练将波斯字符聚类成一些聚类）

我一直在尝试了解反向传播如何与神经网络一起工作，但尚未从技术含量较低的方面找到一个好的解释。

反向传播如何工作？它如何从提供的训练数据集中学习？我将不得不对此进行编码，但在那之前我需要对它有更深入的理解。