问题标签 [relu]

如果我使用LSTM来预测或多或少单调增加的时间序列图表的未来值。由于它是有界函数，因此是否tanh可以作为所有单元的激活函数？LSTM或者relu在这里是正确的功能？

（PS我试过relu了，但是训练损失不稳定而且会爆炸）

我正在用 238 张卫星图像训练 U-NET 模型。尽管我尝试了不同的架构，但我的 val_loss 并未降低到 0.3 以下。

• Conv2D(8-16-32-64-128-64-32-16-8)
• Conv2D(16-32-64-128-256-128-64-32-16)
• Conv2D(32-64-128-256-512-256-128-64-32)
• 激活函数 = relu
• sigmoid（输出）
• validation_split=0.10,batch_size=10, epochs=30)
• 损失='binary_crossentropy'
• optimizers.Adam(learning_rate=0.001) - 我也尝试 0.01 和 0.0001

如果你有线索我有兴趣

UpDate = 我现在有 968 张图片

最近我观察到很多时候，在定义神经网络时，我们为每一层定义了单独的 ReLU 对象。为什么我们不能在需要的地方使用相同的 ReLU 对象。

例如，不要这样写——

为什么我们不能使用

这是 PyTorch 特有的吗？

我试图在python上构建一个NN来解决输入X（a，b）和输出Y（c）的回归问题。使用leaky Relu 作为隐藏层的激活函数和输出层的线性函数。经过 3-4 次迭代后，nn 似乎会因极大/极小的数字而爆裂，并导致NaN. 我使用的衍生物如下。也许有人可以帮助我 - 是我的数学问题还是我应该在 nn 之前做更多的工作来规范化 X 和 Y ？

在哪里

和 Relu 导数：

谢谢

我收到以下错误，我相信这与我的自定义损失函数和批量大小有关。我不确定如何解决这个问题：

函数调用栈： keras_scratch_graph

我正在构建一个人工神经网络来预测总医疗保健成本（因此是一个连续变量），它使用一系列输入变量，例如年龄、性别、保险范围和慢性病的数量。我使用 R 的神经网络包采取了以下步骤：

1. 我首先将值标准化，因此所有自变量和因变量的值都介于 0 - 1 之间（使用 min-max 规则）

2. 我创建了一个包含自变量和因变量的模型矩阵，还为神经网络创建了一个公式

3. 我创建了训练和测试数据框

4. 鉴于我想使用 ReLU 作为激活函数，我创建了以下函数以放入神经网络

5. 现在我运行神经网络

然而，我的一些预测输出是负的，这不应该是不可能的，因为 a）我的所有数据都在 0 和 1 之间标准化，b）我使用了 ReLU 激活函数，它应该将所有负值转换为 0。

对于我为什么得到负面预测结果的任何提示/解释，我将非常感激。

谢谢！

如何从头开始实现 Leaky ReLU 并将其用作 Keras 中的自定义函数，我有一个粗略的片段，但不确定我与正确定义有多接近。我的问题分为两部分：

1-我的实施是否正确？

2-如果没有，我做错了什么？

该实现正在使用：

和用法：

任何帮助将不胜感激。

我正在尝试使用神经网络来预测房价。这是数据集顶部的样子：

我正在尝试使用 ReLU 激活函数，但即使在 100 个 epoch 之后我的准确度也为零。我在这里错过了什么吗？

• 实施模型

我正在尝试使用神经网络来预测房价。这是数据集顶部的样子：

我正在使用 ReLU 激活函数。当我尝试根据我的测试数据评估我的模型时，我得到了这个TypeError: unsupported operand type(s) for +=: 'Dense' and 'str'。

我查看了原始数据框中的列类型，一切看起来都很好。

我不确定我是否在我的神经网络中搞砸了一些东西来导致这个错误。任何帮助表示赞赏！这是我的代码供参考。

• 为网络准备数据

• 开始模型构建

根据文档，tf.keras.activations.relu(x, alpha=0.0, max_value=None, threshold=0)似乎在 [threshold, max_value] 内剪辑 ，但必须指定。如何使用它来裁剪神经网络中层的输出？或者有更方便的方法吗？xx

假设我只想在结果介于 0 和 5 之间时输出 10×10 2D 数组的所有元素的线性组合。