问题标签 [relu]

我要在使用 ReLU 的神经网络上进行反向传播。在我之前的一个项目中，我是在一个使用 Sigmoid 激活函数的网络上完成的，但现在我有点困惑，因为 ReLU 没有导数。

这是一张关于 weight5 如何影响总误差的图像。在此示例中，如果我使用 sigmoid 函数，则 out/net = a*(1 - a)。

我应该写什么而不是“a *（1 - a）”来使反向传播工作？

上面的代码打印出来：

代替

据我了解，我使用的函数调用应该只是按值传递，传递变量的副本。

为什么我的 d_relu 函数会影响 y 变量？

我正在尝试实现频域 ReLu，详见：http ://cs231n.stanford.edu/reports/2015/pdfs/tema8_final.pdf

令我困惑的公式在第 4 页的左下角。我不确定我是否正确计算了 dirac 函数的 FFT 之和。我是否错误地解释了这个公式？

我对垂死的 ReLU 问题感到困惑。ReLU 只会在前向传播期间杀死神经元？还是在向后传球期间？</p>

我的第一个神经网络使用 sigmoid 激活函数并且工作正常。现在我想切换到更高级的激活函数（ReLu）。但是使用 ReLu，我的 NN 根本不起作用。90% 的错误，而使用 sigmoid 有 4% 的错误。我在代码中找不到错误。帮我。

和培训代码：

我正在尝试实现泄漏的 Relu，问题是我必须为 4 维输入数组执行 4 个 for 循环。

有没有一种方法可以只使用 Numpy 函数来进行泄漏 relu？

如果这是一个幼稚的问题，我很抱歉。这是我第一次尝试使用 tensorflow。作为 Udacity 课程的一部分，我在非 MNIST 数据集上尝试了 numpy 之后，我正在使用它。现在，这是我编写的代码。然而，这给了我 87-88% 的准确率。请建议我应该注意哪些错误以及代码中可能出现的错误：

我已经在 tensorflow 中编写了一个卷积网络，其中 relu 作为激活函数，但是它不是学习的（对于 eval 和 train 数据集，损失都是恒定的）。对于不同的激活功能，一切正常。

这是创建 nn 的代码：

self.activiation 设置为 tf.nn.relu 并且 self.last_activiation 设置为 tf.nn.softmax

损失函数和优化器在这里创建：

我尝试通过tf.random_normal_initializer(0.1, 0.1)作为初始化程序传递来更改变量初始化，但是它并没有导致损失函数发生任何变化。

如果能帮助我使这个神经网络与 ReLu 一起工作，我将不胜感激。

编辑：Leaky ReLu 也有同样的问题

编辑：我设法复制相同错误的小例子：

h_d 和 y_d 内核和偏差的梯度（使用 tf.gradients 计算）等于或接近 0

我实际上正在研究 CNN，我使用 Sigmoid 作为激活函数，但我想使用 ReLU。

我已经使用 Eigen 实现了 ReLU 代码，但它似乎不起作用，你能帮帮我吗？

这是我的代码：

错误是：

更新：找到它：类是tf.keras.layers.Activation；需要使用参数 activation='relu'.... 调用

尝试访问 tf.keras.layers.ReLU 会出现错误：

AttributeError：模块“tensorflow.tools.api.generator.api.keras.layers”没有属性“ReLU”。

在文档中，版本大师有这样一个层。版本 1.8（和 1.9）似乎只有泄漏的 relu、PReLU 和其他衍生产品。

现在我正在使用0.0 的ThresholdedReLU，我希望这会产生一个标准的 ReLU。但也必须有一个简单的“ReLU”层？

在 tensorflow 1.8 中哪里可以找到 keras 的 ReLU 层？我想要一个 keras 层类，即不是tf.keras.backend.relu。

感觉好像我忽略了一些完全明显的东西。我以前没有使用过 keras，所以，如果这是一个超级愚蠢的问题，我很抱歉。