问题标签 [activation-function]

我正在我的简单神经网络中尝试不同的激活函数。

tf.nn.relu使用, ,...没关系，tf.nn.sigmoid网络会做它应该做的事情。

但如果我使用tf.nn.crelu，我有一个尺寸错误。

它返回类似的东西[max, min]，宽度尺寸是两倍大。我需要做什么？将以下权重和偏差拟合到crelu?

我正在使用 Python 开发 Keras，并且我有一个神经网络（请参见下面的代码）。目前它仅适用于 ReLu 激活。

出于实验原因，我希望在 ReLu 上有一些神经元，在 softmax（或任何其他激活函数）上有一些神经元。例如，在一个有 20 个神经元的层中，我希望有 10 个使用 ReLu，10 个使用 Softmax。

我尝试了一些不同的方法，但总是无法获得输出。

你知道我应该怎么做吗？

编辑：这是我现在的（工作）代码：

我想问你一个关于图像分类的问题。实际上，我正在制作一个图像分类器，并且我正在使用以 keras 和 tensorflow 作为后端的卷积神经网络。我的问题是如何识别图像中的多个对象。我尝试了具有激活函数 sigmoid 和损失的卷积神经网络 - binary_crossentropy，但我并不满意。

我有一个关于在具有正面和负面奖励的环境中适当的激活函数的问题。

在强化学习中，我相信我们的输出应该是所有可能行动的预期回报。由于某些选项有负回报，我们需要一个包含负数的输出范围。

这会让我相信唯一合适的激活函数要么是线性的，要么是 tanh。但是，我看到很多 RL 论文都使用了 Relu。

所以两个问题：

1. 如果您确实想要同时具有负输出和正输出，那么您是否仅限于 tanh 和线性？

2. 扩大奖励以使它们都在正域中（即而不是 [-1,0,1], [0, 1, 2]）是更好的策略（如果可能的话）吗？替代激活函数？

在不使用 Tensorflow 的情况下，如何在 Python 中实现 Leaky ReLU 的导数？

还有比这更好的方法吗？我希望函数返回一个 numpy 数组

在此先感谢您的帮助

在密集层中，应该根据一些经验法则来初始化权重。例如，对于 RELU，权重应该来自正态分布，并且应该重新缩放 2/n，其中 n 是层的输入数量（根据 Andrew Ng的说法）。

卷积层也一样吗？在卷积层中初始化权重（和偏差）的正确方法是什么？

我正在尝试创建一个激活函数以在我的 keras 模型中使用。

基本上，我想要的是一个只有两位小数的 sigmoid 函数。所以我试图创建自己的激活函数，如下所示：

接着：

但由于某种原因，我这样做是错误的。

有人可以帮帮我吗？

非常感谢

堆栈跟踪：

我的任务：我正在尝试创建一个神经网络来预测住宅门窗的打开状态。

这些状态是从 0 到 1 的浮点数，最多有两位小数。

输入数据集组织为：

例子：

输出数据集：

例子：

现在我的网络拓扑如下，但如有必要可以更改：

也许是一个非常愚蠢的问题，但我找不到如何在 Keras 中使用 categorical_hinge 的示例。我进行分类，我的目标是shape(,1)值 [-1,0,1]，所以我有 3 个类别。使用功能 API，我设置了输出层，如下所示：

输出=密集（1，名称='输出'，激活='tanh'，kernel_initializer='lecun_normal'）（输出1）

然后我申请：

model.compile(optimizer=adam, loss={'output': 'categorical_hinge'}, metrics=['accuracy'])

结果是模型正在收敛，但准确度接近 0。我做错了什么？

我正在努力在 Python的tensorflow中实现激活函数。

代码如下：

但我总是收到错误：

不允许将 atf.Tensor用作 Python 。bool利用if t is not None:

prelu 权重的解释是什么，如果一层中 prelu 的权重接近 1，而在其他一些层中，它们接近 0？

没有太多的前卢文献，任何帮助都会非常有帮助！