问题标签 [activation-function]

我使用 caret 和 nnet 创建了一个神经网络。现在，我需要在 oracle 中部署 NN 进行生产。我已经有了每个输入层和隐藏层的权重。但是，我不确定使用的是哪个激活函数。有没有办法知道？或者您知道执行此任务的更简单方法吗？

这是我用来开发 NN 的代码：

softmax Activation的 Keras文档指出，我可以指定激活应用于哪个轴。我的模型应该输出一个n x k矩阵M其中Mij是第i个字母是符号j的概率。

最后一行代码无法编译，因为我不知道如何正确指定 softmax 激活的轴（k在我的例子中是轴）。

是否有计划在 H2O 的深度学习模块中实现泄漏的 ReLU？我是神经网络的初学者，但是在有限的模型构建和参数调整中，我发现 ReLU 可以更好地泛化，并且想知道是否可以通过使用leaky ReLU 来避免死亡的 ReLU 问题来获得更好的性能。

我刚刚读完深入研究整流器论文。本文提出了一种新的激活函数，称为 PReLU。也许很明显，因为论文没有提到，但我想知道PReLU的参数'a'什么时候更新？是在权重更新前更新还是在权重更新后更新？还是与重量同时更新？

我有一段代码使用 sigmoid 激活函数进行分类，输出 [0,1]。但我需要一个输出二进制值 0 或 1 的激活函数。

你能告诉我如何用二进制第一步替换 sigmoid 函数吗？

我有一段代码尝试将输出作为输入的维度，该维度具有 0 或 1 而不是 [0,1] 的值。我试图获得二进制激活函数来评估二进制数据集。

但它会引发错误。你能找到错误吗？

我有一个层，layer3它是类型：

我想可视化这一层的激活。我该如何处理layer3呢？我必须添加什么才能将tf.summary.histogram()其可视化？

我有个问题。我观看了关于在 C++ 中实现人工神经网络的非常详细的教程。现在，我对神经网络的工作原理以及如何实际编程和训练神经网络有了基本的了解。

所以在本教程中，双曲正切用于计算输出，显然它的导数用于计算梯度。但是，我想继续使用不同的功能。特别是 Leaky RELU（以避免死亡的神经元）。

我的问题是，它指定这个激活函数应该只用于隐藏层。对于输出层，应使用不同的函数（softmax 或线性回归函数）。在教程中，这个人教神经网络是一个 XOR 处理器。那么这是分类问题还是回归问题？

我试图用谷歌搜索两者之间的区别，但我不能完全掌握 XOR 处理器的类别。是分类问题还是回归问题？所以我实现了 Leaky RELU 函数及其导数，但我不知道我应该对输出层使用 softmax 还是回归函数。

同样为了重新计算输出梯度，我使用 Leaky RELU 的导数（现在），但在这种情况下，我是否也应该使用 softmax 的/回归导数？

提前致谢。

这里有什么隐藏的陷阱吗？甚至流行的 ReLU 也是 max(0,x)，我们将允许最大值通过并将负数剪裁为零。如果我们同时允许正值和负值，会有什么问题？或者为什么我们在 ReLU 中将负值剪裁为零。

这些天我一直在试验神经网络。我遇到了一个关于要使用的激活函数的一般问题。这可能是一个众所周知的事实，但我无法正确理解。我看到的许多示例和论文都在研究分类问题，它们要么使用 sigmoid（在二进制情况下）或 softmax（在多类情况下）作为输出层的激活函数，这很有意义。但我还没有看到回归模型的输出层使用任何激活函数。

所以我的问题是，我们是否选择在回归模型的输出层中不使用任何激活函数，因为我们不希望激活函数限制或限制值。输出值可以是任意数字，大到数千，因此像 sigmoid 到 tanh 这样的激活函数没有意义。还是有其他原因？或者我们实际上可以使用一些针对这类问题的激活函数？