问题标签 [relu]

如果我尝试使用 sigmoid 函数，它可以正常工作，但是当实现 ReLU 激活函数时，程序不会学习任何东西。

NN 由 3 个输入层、隐藏层和输出层组成，并为输出函数实现了 sigmoid 激活函数。手工计算似乎很好，但找不到缺陷。

下面带有 sigmoid 激活函数的代码工作得很好。

我写了一个简单的 nn（它应该添加两个数字）并且我尝试了不同的激活函数，这是我的代码

这是主要的

我有两个问题：-

1. 当使用 learning_rate = 0.1 的 ReLU 以外的激活时，需要超过 100,000 个 epoch 才能获得接近于零的一些错误，但仍然没有达到 0，但它是一致的并且错误总是下降，所以首先要问为什么它需要太多的 epochs在使用 Sigmoid 或 Tanh 时解决像添加两个数字这样的简单任务？

2. 使用 ReLU 时，错误可能会非常快地变为 0，可能在 5000 个 epoch 左右，但问题是这不一致，有时错误永远不会下降，所以为什么会发生这种情况（我认为问题出在权重初始化但我是不确定）以及为什么与使用其他激活函数时相比，它在工作时会使错误快速变为 0。

我正在尝试创建一个泄漏的 relu，它对于值 > 1 的梯度与对于值 < 0 的梯度相同。

我有一个似乎可以工作的实现，但它比正常的泄漏 relu 慢约 50%。所以我认为必须有更好的方法。

这是一个最小的例子：

我已经在互联网上搜索了几个小时，但我还没有找到一个简单或明确的解决方案。我知道标准 tf.keras.layers.ReLU 支持 max_value ，我可以将其设置为 1 但我试图避免这种情况以避免垂死的 relu 问题。

我希望有人可以帮助我或指出我正确的方向。

网络的结构必须如下：

(lstm): LSTM(1, 64, batch_first=True)

（fc1）：线性（in_features=64，out_features=32，bias=True）

(relu): ReLU()

(fc2)：线性（in_features=32，out_features=5，bias=True）

我写了这段代码：

这是为了测试：

错误是：

----> 3 输出 = 模型 (batch_data.to(device)).cpu()

5 帧 /usr/local/lib/python3.7/dist-packages/torch/nn/modules/rnn.py in check_input(self, input, batch_sizes) 201 raise RuntimeError( 202 'input must have {} dimensions, got { }'.format(--> 203 expected_input_dim, input.dim())) 204 if self.input_size != input.size(-1): 205 raise RuntimeError(

RuntimeError：输入必须有 3 个维度，得到 2

我的问题是什么？

我在安装 keras 时遇到问题。以下内容给我带来了太多麻烦（即使在终端上进行更新）：

ann = Sequential()因此，我不使用 初始化 ANN，而是使用ann = tf.keras.models.Sequential()。这通过导入：

我想使用 LeakyReLU 作为激活函数。然而，这个实现起来似乎有所不同，与其他人的做法相比，keras 文档对我的帮助并不大。

我已经看到需要 ann.add(LeakyReLU(alpha=0.05)) 。但是，其他参数如 unit 或 input_dim 呢？如何使用我的代码实现这一点？

“dvalue”变量是我所关注的……我了解 ReLU 的导数。

图片1

图二

这是我的模型（float32）的一部分，我将融合它进行量化。我的方法是使用named_modules遍历每个子模块并检查它们是conv2d batchnormlization还是relu。

我发现如果它错过了scratch.refinenet4.resConfUnit1.activation 同样的事情发生在resConfUnit2中的激活。

这是一个错误吗？

...

我已经训练 ResNext50 进行活动识别。网络的原始架构包括 ReLU。我使用原始架构实现的测试精度为 %85。当我用 Mish 替换所有 ReLU 激活函数时，准确率急剧下降到 %71。顺便说一下，LeakyReLU 显示出与 ReLU 相似的测试精度。

我想知道有没有办法让这个激活函数替换更好地达到高精度？例如：我看到一个在同一个网络中同时使用 ReLU 和 Mish 的例子。但我不知道如何小心地将它们组合在一起。

我想在神经网络中使用 de ReLU 函数作为激活函数，但是由于我的输入是一个数组，它会引发错误。这是我定义函数的代码：

我也希望得到一个数组作为输出。

由于标题是自描述的，因此ValueError: Unknown activation function: PReLU当我尝试加载我的训练有素的 CNN 模型时出现错误，该模型将 CNN 用作PReLU卷积层和密集层的激活函数。我怎样才能使用这个模型？有解决方法吗？

ps 我正在使用 的load_model功能Keras通过提供的.h5文件加载模型。