问题标签 [feed-forward]

我刚刚被分配了一项任务来计算一些 ANN 输出并编写一个 ANN。简单的东西，以前做过，所以我不需要任何关于一般 ANN 东西的帮助。然而，有一点让我很困惑。在作业中，拓扑如下（由于是他的知识产权，所以不会上传图表）：-

• 2 层，3 个隐藏层和一个输出。
• 输入 x1 进入 2 个隐藏节点和输出节点。
• 输入 x2 进入 2 个隐藏节点。

问题是非常常见的 XOR。他之前没有提到过这种拓扑，我肯定参加过每一堂课，认真听过。我就是这样的好学生：）

我不认为这算作家庭作业，因为我手头的实际任务不需要帮助。

任何关于为什么要使用具有这种拓扑结构的网络的见解都会很棒。

问候

前馈神经网络的输出个数（输出层的神经元个数）可以多于2个（比如3个）？

我正在使用前馈、反向传播、多层神经网络，我使用 sigmoid 函数作为激活函数，其范围为 -1 到 1。但最小误差不会低于 5.8，我想要的更少，你可以看到输出经过 100000 次迭代。

我认为这是因为我的输出范围高于 1，而 sigmoid 函数的范围仅为 -1 到 1。任何人都可以建议我如何克服这个问题，因为我想要的输出范围是 0 到 2.5。建议我哪个激活函数最适合这个范围。

When training a nn using trainbr like this:

How do I obtain the number of epohcs/iterations that has been run before max mu has been reached?

Cheers

I'm just starting to learn neural networks, to see if they could be useful for me.

I downloaded this simple python code of 3 layer feed forward neural network

and I just modified the learning pattern to checkerboard instead of XOR and number of nodes in hidden layer to 10. If I understand universal approximation theorem this 3 layer network (one hidden layer) should be able to learn any function from R2 to R including my checkerboard function. ... But it does not.

What is wrong?

• I understand universal approximation theorem wrong - maybe the function should be monotoneous or convex? (The area should be linearly separable? ).
• I need an other layer (2 hidden layers) to approximate such non-convec, non linearly separable function?
• The network is just traped in some local minimum? (but I don't think so? I tried several runs, initial weight are random, but the result is the same)
• 10 nodes in hiden layer is not enought? I tried different number - with 5 it is almost the same. With 30 it does not

Is there any general approach how to modify the optimization (learning) scheme to be sure to converge to any function which can be theoretically described by the given network according to universal approximation theorem?

Is there any general test, which will tell me, If my network (with given topology, number of layers and nodes) is able to describe given function, if it is just trapped in some local minimum?

This are the results with 10 neurons in hidden layer:

This is the definition of test run (only part of code I modified):

所以，我有一个巨大的输入文件，看起来像这样：（你可以在这里下载）

看它就像一个两列的表格，即“;”之前的元素 显示到“;”之后的元素

我想迭代地打印简单的字符串，以显示构成前馈循环的三个元素。上面的示例编号列表将输出：

将第一条输出线解释为前馈循环：

只有这个链接中圈出的那个

所以，我有这个，但它非常慢......有什么建议可以更快地实现吗？

注意：我不想要自循环...从 A -> A、B -> B 或 C -> C

我正在尝试为多层前馈神经网络实现反向传播算法，但我在让它收敛到好的结果时遇到了问题。原因是，梯度下降卡在均方根误差的板上。

正如您在图中看到的，前 70 个 epoch 左右的 rms 值几乎没有变化。因此梯度下降找到了一个最小值并停止。为了解决这个问题，我设置了一个要求，即除了变化率低于给定值之外，rms 误差必须低于 0.3。但是，我认为这并不好，因为我认为我的实现有问题。

以下是红宝石代码：

显示的图表是一个 2 隐藏层网络，每个隐藏层有 5 个神经元。有 2 个输入和 4 个输出。也许这是正常行为，但对我来说似乎有些不对劲。任何帮助将不胜感激。

我有一个代码，它构建了一个 [2,3,1] 神经网络，其中一些值具有完全连接。

这是代码。很明显，activate() 函数将列表作为输入。我无法理解列表的内容是什么。请帮忙。

我有一些使用神经网络的代码。
当我像这样使用非内存前馈网络时：

一切正常，我对我想要的函数有很好的近似。

但是，如果我像这样切换到 timedelaynet：

神经网络的输出即：

是多个常数；绿色为目标（近似的数据），红色为输出：

我究竟做错了什么？

以下是其他 NN 初始化代码行：

我想在 MATLAB 中创建一个具有跳过层连接的神经网络。有没有办法修改“newff”函数以允许从输入节点直接连接到输出层？