问题标签 [relu]

出于好奇，我试图将具有校正线性单元的神经网络拟合到多项式函数。例如，我想看看神经网络想出一个函数的近似值是多么容易（或困难）f(x) = x^2 + x。下面的代码应该可以做到，但似乎什么也没学到。当我跑

它返回

这里的任何人都看到我如何使网络适合f(x) = x^2 + x？

Conv2d如果我们要Conv2d紧随ReLU其后，我们应该在其中包含偏差参数batch norm (bn)吗？

如果我们使用Conv2d后跟bn后跟，则没有必要ReLU，因为 的 shift 参数bn负责偏置工作。

在 keras 文档中，函数keras.activations.relu(x, alpha=0.0, max_value=None, threshold=0.0)定义为：

我做了一个小测试alpha=0.01，我得到的threshold=5.0输出max_value=100.0是.x=5.0f(x)=0.0

如果我没记错的话，既然x == threshold，我应该得到f(x)=x=5.0。

谁能解释一下？

谢谢，

• 朱利安

不知道为什么我会收到此错误。有人可以指出我正确的方向吗？错误在这一行：

ValueError：具有多个元素的数组的真值不明确。使用 a.any() 或 a.all()

我收到了这个错误，我不知道为什么会这样。任何人都帮帮我。

警告（来自警告模块）：文件“C:\Users\xyz\AppData\Local\Programs\Python\Python35\lib\site-packages\keras\legacy\layers.py”，第 762 行 warnings.warn('The AtrousConvolution2Dlayer ' UserWarning：该AtrousConvolution2D层已被弃用。使用 Conv2D带有dilation_rate参数的层。回溯（最近一次调用最后）：文件“D:\Image Outpaining\outpaint.py”，第 146 行，在 GEN = build_generator() 文件“D :\Image Outpaining\outpaint.py"，第 120 行，在 build_generator g1 = g_build_conv(g_input, 64, 5, strides=1) 文件“D:\Image Outpaining\outpaint.py”，第 102 行，在 g_build_conv c = relu ()(c) 类型错误：relu() 缺少 1 个必需的位置参数：'x'

我仍在努力理解 PyTorch autograd 系统。我正在努力的一件事是理解为什么.clamp(min=0)并且nn.functional.relu()似乎有不同的向后传球。

.clamp它与 PyTorch 教程中使用的等价物特别令人困惑relu，例如https://pytorch.org/tutorials/beginner/pytorch_with_examples.html#pytorch-nn。

我在分析具有一个隐藏层和一个 relu 激活（在输出层中为线性）的简单全连接网络的梯度时发现了这一点。

据我了解，以下代码的输出应该为零。我希望有人能告诉我我错过了什么。

second_fashion_model.add(LeakyReLU(alpha=0.05))

抛出错误为：

添加的图层必须是图层类的实例。成立：

当我们使用 tf 1.15 的 PReLU 转换 tf.keras 模型时，PReLU 层变为 ReLU，并且似乎与以前的运算符融合在一起。结果，28 MB 的 keras h5 文件大小变为 1.3 MB。看起来参数数量明显减少，因为我没有在 PReLU 中使用共享权重轴选项。那么，这种转换是否可以正常工作而没有任何精度损失？PReLU 的权重是否完全丢弃？同样，融合是否考虑了转置卷积层的偏差（在 netron 中没有将偏差作为输入属性提及）。这些融合是否在内部保留了训练后的权重参数，它们是否会影响 tflite 的推理准确性？

Prelu 融合：-

它在输出属性中显示prelu/ReLU

转置转换：-

它没有显示输出属性的偏差

那么，融合是通过组合权重正常工作还是被丢弃？

我正在训练一个简单的人工神经网络模型（MLP），使用它作为激活函数tanh(x)，经过一些交互后，它以等于 10^-5 的误差收敛，这是我的完整代码：

之后，我尝试将激活函数更改为leaky ReLu，但没有收敛。我已经改变了n几次学习率，但错误仍然很高。大约是 7.95，这对我的数据来说很大。这是我的尝试：

编辑：

经过一些修改，这是我的 ReLu 代码（但错误仍然很高~7.77）：

我一开始做了一个模型如下：

但是，这个模型效果不佳。准确率只有 1%，这意味着它什么也没学到。（我用 CIFAR100 训练了这个模型 - 简单只是为了检查代码）但是当我如下更改代码时，它起作用了。

为什么会这样？我不知道问题所在。感谢您的阅读。