问题标签 [relu]

我正在研究一个需要输入 6 张图像的模型（实际上它是来自视频的一系列图像）。CNN 也正在解决类似类型的问题，但两种模型都存在问题。

两种模型都在经历垂死的 RELU（RELU 让我失望了），这可以通过一个简单的 LeakyRELU 轻松修复。但是我需要在一个对我来说更复杂和新的视觉转换器中实现 LeakyRELU。如果有人可以帮助我建议我可以在哪里或如何在视觉转换器模型中实现 Leaky RELU。

relu 作为激活函数或层之间有什么区别吗？例如

或者

我正在使用 Keras 进行训练，然后预测 n 位十进制数的第 i 位的数字。例如，如果输入是123456（即n = 6），并且i=2，那么程序需要找出一个值4。我把输入保存在x_values和对应的训练、测试和验证值x_values 的元素在 y_values 中。

我有两个模型。第一个是简单的“relu”，它接受一个标量输入并将其馈入 8 个“神经元”，最后一层是单个神经元。

第二个模型是 16 个神经元 x 32 深（比第一个大很多）。

我的整个训练集有 15000 个样本。我将输入集分为训练集、测试集和验证集。

毕竟，当我计算损失和平均平均误差时，它们都非常高（分别约为 8.3 和 2.5）。

解决这个问题的最佳方法是什么？玩弄网络的宽度、深度或 epoch 的值并没有明显的效果。任何提示将不胜感激。

我这样声明 ReLU 函数：

并且发生了 ValueError 并且其回溯消息是

ValueError：具有多个元素的数组的真值不明确。使用 a.any() 或 a.all()

但是，如果我用 numpy 更改 ReLU 函数，它会起作用：

为什么这个函数（relu(x)）不起作用？我不明白...

=================================

使用的代码：

使用 pytroch.nn.RNN 我训练了具有 4 个输入神经元、2 个隐藏层的神经网络，每个神经网络有 8 个神经元和 2 个输出神经元。所以我训练了我的 RNN 模型，并在“非线性”选项中选择了 relu，那里一切都很好，我的结果也还可以。这是我的模型的完整代码。

现在根据我的项目要求，我必须使用上述内置模型的训练权重（我使用 pytroch 库制作）从头开始制作相同的 RNN 结构，我这样做了，但是当我应用 relu 激活函数时我的结果不匹配( relu(x) = max(0,x) )。但是当我在内置模型中使用“Tanh”激活并使用经过训练的权重时，我从头开始制作的模型给出的结果与内置模型相似。我知道有几种类型的“relu”激活函数，我尝试了很多来找出内置模型究竟使用了什么 relu，但我找不到任何答案，所以谁能告诉我 relu RNN pytorch 模块正在使用什么这样我也可以使用相同的方法并获得结果？

我也经历了几次，我无法运行torch._VF.rnn_relu。这是在源代码中给出的，我尽我所能让它运行，但是源代码中提到的库，即使在 colab 中安装了所有这些库后，我也无法在我的 google colab notebook 中导入它们。

它记录在源文件中， https://pytorch.org/docs/stable/_modules/torch/nn/modules/rnn.html#RNN

火炬._VF.rnn_relu

我目前正在尝试使用 Optuna 优化一个简单的 NN。除了学习率、批量大小等，我还想优化不同的网络架构。所以到目前为止，我优化了 LSTM 层的数量，以及 Dense 层的数量。但现在我在考虑激活函数。请记住，我对 NN 很陌生……但我一直在阅读有关 ReLu 和 Leaky ReLu 的信息，而且我知道 LSTM 在内部使用 tanh 和 sigmoid。所以首先我想可能是内部的 tanh 被 ReLu 函数切换了，但我想我错了，对吧？

我所看到的是 nn.ReLu() 被应用在层之间，所以我认为只有在我的密集层之间应用它才有意义？

对不起菜鸟问题。我很难理解这些东西，因为它们太基础了，以至于无处讨论。

When using the ReLU activation function in my Neural Network I noticed all the outputs were the same. The Sigmoid activation function works just fine. Is there something wrong with the ReLU function? Why is this happening? What can I do to fix this?

The example is a simple XOR Neural Network written in Lua.

Output:

- Library -

我正在编写 CS231n assignment1 两层网络，我在 relu_backward 中遇到了困难。我的实现如下：

但结果总是说错误是1.0。

有没有人遇到同样的问题？

我想知道 ReL 函数是线性函数还是恒等函数。

如果函数是线性的（意味着 y=kx+d），则函数可以“改变”更多。

另一方面，如果该函数是一个恒等函数（意思是 y=x），那么输出不会改变——至少对于正输入是这样。

据我所知，通过 ReLU 运行的正值没有改变。意思是，该函数（从 0 开始）是一个恒等函数。我的理解正确吗？