问题标签 [activation-function]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
tensorflow - 使用 tensorflow 应用 Selu 激活函数时出错
我试图从https://arxiv.org/pdf/1706.02515实现新的 SELU 激活功能。有关更多信息，这里是我的代码：
因此，在不使用 Keras 的情况下，我一直得到一个 NAN：
我想知道获得 NAN 的原因。
任何帮助深表感谢！！
python - 使用自定义“损失”函数进行梯度更新
我在一个神经网络上的张量流中工作，试图最大化两个数据集之间的相关性：http: //ttic.uchicago.edu/~klivescu/papers/andrew_icml2013.pdf
我有一个“损失”函数，它有点复杂，所以我用 numpy 数组（并称之为 corr_func()）来编写它，以便它可以与张量一起运行我使用 tf.py_func 函数，我尝试更新以与此处所示相同的方式渐变如何在 Tensorflow 中仅使用 Python 制作自定义激活函数？
这给了我们以下代码
这两个函数 tf_omega_gradH1/2() 是正确的，但这里显示的时间有点长，但在论文中定义为给定两个输出的相关性的偏导数。然后像这样定义相关性
事情是这不起作用，当我尝试运行优化器时，它会引发以下错误：
此外，如果我尝试通过运行查看渐变：
它返回无......显然我不能很好地控制这个渐变更新，我不知道如何修复这个错误。
注意：H1 和 H2 是我的神经网络的两个输出
更新：错误日志是：
machine-learning - 人工神经网络 - 为什么通常在隐藏层使用 sigmoid 激活函数而不是 tanh-sigmoid 激活函数？
为什么 log-sigmoid 激活函数是隐藏层的主要选择而不是 tanh-sigmoid 激活函数？而且，如果我使用 Z-score 归一化，我可以在隐藏层中使用 sigmoid 激活函数吗？
machine-learning - Word to Vector中的线性激活函数
在word2vec 论文中，他们使用线性激活函数。我的原因可能是他们提供了足够的训练数据来学习词嵌入，因此不需要非线性激活函数，对吗？
另外，如果我们在隐藏层中使用非线性激活函数，那么我认为结果应该会更好。那么为什么谷歌在单词到向量的情况下使用线性激活函数呢？
tensorflow - 使用 relu 激活的 dropout
我正在尝试在 tensorflow 中实现一个带有 dropout 的神经网络。
来自文档：“Dropout 包括在训练期间的每次更新时将输入单元的分数率随机设置为 0，这有助于防止过度拟合。保留的单元按 1 / (1 - rate) 缩放，因此它们的总和在训练时间和推理时间没有变化。”
现在我明白了，如果 dropout 应用在严格高于零的 sigmoid 激活之上，则会出现这种行为。如果一半的输入单元归零，所有输出的总和也将减半，因此将它们缩放 2 倍是有意义的，以便在下一层之前重新获得某种一致性。
现在，如果使用以零为中心的 tanh 激活怎么办？上面的推理不再成立，那么按上述因素缩放 dropout 的输出仍然有效吗？有没有办法防止 tensorflow dropout 缩放输出？
提前致谢
autoencoder - 如何使用 ReLu 单元并在 dl4j 中获取输出
我正在尝试在 dl4j 中制作 AutoEncoder。
输入：200 个整数，范围从 0 ~ 大约 40000。
型号代码：
以及每一层的配置：
每一层的输出：
我在网络中的所有单元都使用了 ReLu 激活函数。但是，当我打印每一层的输出时，我在所有隐藏层得到 0~1 个值。
我不知道。怎么了？我应该使用 Sigmoid 而不是 ReLu 和标准化输入吗？
python - 如何在 TensorFlow 中使用 Python 制作分段激活函数？
我的 CNN 中的活动函数具有以下形式：
tou是一个常数。
因此，在 TensorFlow 中可以创建自己的激活函数。我不想用 C++ 编写它并重新编译整个 TensorFlow。
如何使用TensorFlow中可用的功能来实现它？
keras - 训练 LSTM 时 keras 中的验证损失和 LSTM 的稳定性
我现在正在使用 Keras 来训练我的 LSTM 模型来解决时间序列问题。我的激活函数是线性的，优化器是 Rmsprop。然而，我观察到训练损失随着时间的推移缓慢下降并围绕一个小值波动的趋势，而验证损失则以很大的方差上下跳跃。
因此，我提出了两个问题：1、validation loss会影响训练过程吗？如果学习率波动很大，算法会查看验证损失并减慢学习率吗？2. 如何使模型更稳定，以便返回更稳定的验证损失值？
谢谢
python - 将自己的激活函数应用于张量流中的层
我正在使用一个模型，其中 tensorflow relu 函数用于激活隐藏层。所以基本上模型就是这样做的
其中 zw 是前一层输出的所有元素乘以权重。根据tensorflow的relu定义会返回
所以对于张量的每个元素，0 和 zw 的每个元素的值之间的最大数。
如何应用我自己的 relu 函数，如果它大于 0，则返回元素 zw，如果它小于 0，则 zw 元素乘以 0.1？
python-2.7 - 张量流没有属性 elu（指数线性单位）
我一直在使用张量流来实现神经网络，但我不确定发生了什么，但我收到了以下错误消息：
如果我用它代替tf.nn.elu(tf.matmul(X,w_h1)+b_h1)它tf.nn.relu(tf.matmul(X,w_h1)+b_h1)，效果很好。
但是，此处elu列出了激活函数。
有人知道必须发生什么吗？