问题标签 [activation-function]

我无法解释激活摘要的 y 轴。我知道 x 轴是值，z 轴是全局步骤。我认为 y 轴是层中激活节点的密度图，但这似乎不对。

当我查看最后一层（具有 10 个输出的 FC 层）的直方图时，它显示了小数值。如果只有 10 个输出，这怎么可能？是否可以仅激活部分节点？我不确定这里发生了什么。

感谢您的任何解释！

激活直方图

我是机器学习和神经网络的新手。我正在尝试从头开始使用神经网络进行文本分类。在我的数据集中，有 7500 个文档，每个文档都标有七个类别之一。大约有 5800 个独特的单词。我正在使用一个具有 4000 个神经元的隐藏层。使用 sigmoid 激活函数。学习率=0.1，无辍学。

在训练期间大约 2 到 3 个 epoch 后，会显示警告：

运行时警告：exp 中遇到溢出。结果输出列表显示为：

sigmoid函数：

如何解决这个问题？我可以使用不同的激活函数吗？

这是我的完整代码： https ://gist.github.com/coding37/a5705142fe1943b93a8cef4988b3ba5f

Tanh 激活函数将输出限制为 [-1,1]。我想知道如果输入（特征和目标类）以 1-hot-Encoded 形式给出，它是如何工作的？

keras 如何（在内部管理）激活函数的负输出以将它们与类标签（采用单热编码形式）进行比较——仅表示 0 和 1（没有“-”ive 值）

谢谢！

我正在尝试从头开始编写神经网络 MLP 模型。但是，我坚持使用 softmax 函数的导数。我知道python代码中的softmax函数是

但是，我不知道如何编写 softmax 导数的代码。谁能告诉我如何用python编写代码？太感谢了！

我正在尝试在 keras 中为我的模型使用此激活函数，但我很难找到要替换的内容

我得到的错误：

文件“/usr/local/lib/python3.4/dist-packages/tensorflow/python/framework/ops.py”，第 614 行，在bool raise TypeError("Using a tf.Tensoras a Python boolis not allowed."

TypeError：不允许将 atf.Tensor用作 Python 。bool使用if >t is not None:而不是if t:测试是否定义了张量，并 > 使用 TensorFlow 操作（例如 tf.cond）来执行以 > 张量值为条件的子图。

有人可以帮我说清楚吗？

真的是直截了当的问题，我需要将我必须的 Tensorflow 模型转换为不支持 relu6 的格式，只支持常规 relu。我的模型采用 3 个 ckpt（检查点）文件（数据、索引和元文件）的形式。我需要能够在转换 relu 层后训练模型。有人可以指出我如何解决这个问题的正确方向。谢谢！

我想知道是否存在任何情况或需要将具有不同激活功能的多种类型的神经元混合在一个层中，如果是这样，如何使用 tensorflow Estimator 框架来实现它。

我可以想到一个简单的例子，这样的配置可能会变得有用。
考虑尝试训练一个神经网络，该神经网络可以预测坐标值为 (x, y) 的任何给定 2D 点是否位于给定圆的内部或外部，该圆的中心和半径也定义在相同的 2D 简单空间。

假设我们的圆的中心在 (0.5, 0.5)，其半径定义为 0.5。
我们训练的策略可能是这样的：首先随机生成许多点，然后判断每个点是在圆内还是在圆外，这样我们就可以将这些随机生成的坐标集作为特征和结果每一个的内/外判断作为其对应的标签。

通过验证下面的公式可以很容易地进行判断：
(x-0.5)^2 + (y-0.5)^2 < r^2
可以转换为：
x^2 - x +y^2 - y + 0.5 < r^2

现在，看最后一个公式，如果神经网络本身能够自动获得 x^2 和 y^2 等值，那么训练显然会变得有效，只需从其特征值（x，y）给出。为此，我想出了一个想法，在标准 ReLU 神经元中混合具有 f(x)=x^2 作为其激活函数的神经元。

老实说，我已经使用 tensorflow Estimator 框架完成了这个问题的几个测试实现，其中一个我看到将 x^2 和 y^2 作为附加特征（总共 4 个特征值）应该有助于与 2 个特征的情况相比，有效的训练收敛，但使用 f(x)=x^2 激活函数的解决方案对我来说似乎更聪明。

这就是我在这里提出问题的方式。
希望我能听到任何意见。

谢谢你。

目前我正在阅读以下论文：“SqueezeNet：AlexNet-level accuracy with 50 x less parameters and <0.5 MB model size”。

在这4.2.3（激活函数层）中，有如下语句：

激活函数的影响几乎完全受限于训练阶段，它对推理期间的计算需求几乎没有影响。

我理解激活函数的影响如下。在卷积运算处理后，对特征图的每个单元应用激活函数（ReLU 等）。我认为此时的处理在训练模式和推理模式下都是相同的处理。为什么我们可以说它对训练有很大的影响，而对推理的影响不大呢？

有人可以解释一下吗。

使用 Keras 设置神经网络时，您可以使用Sequential模型或Functional API. 我的理解是前者易于设置和管理，并且作为层的线性堆栈运行，并且功能方法对于更复杂的架构很有用，特别是那些涉及共享内部层输出的架构。我个人喜欢使用功能性 API 来实现多功能性，但是，在使用 LeakyReLU 等高级激活层时遇到了困难。当使用标准激活时，在顺序模型中可以写：

类似地，在功能 API 中，可以将上述内容写为：

但是，当使用 LeakyReLU 和 PReLU 等高级激活时，在该顺序模型中，我们将它们编写为单独的层。例如：

现在，我假设在函数式 API 方法中做同样的事情：

我的问题是：

1. 这是功能方法中的正确语法吗？
2. 为什么 Keras 需要一个新层来实现这些高级激活功能，而不是让我们只替换'relu'？
3. 为激活函数创建一个新层，而不是将其分配给现有的层定义（如我们编写的第一个示例中'relu'），有什么根本不同吗，因为我意识到你总是可以编写你的激活函数，包括标准的，作为新层，虽然已经读过应该避免这种情况？

我正在从头开始编写一个多层感知器，只有一个输入层、隐藏层和输出层。输出层将使用 softmax 激活函数来产生几个互斥输出的概率。

在我的隐藏层中，使用 softmax 激活函数对我来说也没有意义 - 这是正确的吗？如果是这样，我可以只使用任何其他非线性激活函数，例如 sigmoid 或 tanh 吗？或者我什至可以不在隐藏层中使用任何激活函数，而只是将隐藏节点的值保持为输入节点和输入到隐藏权重的线性组合？