python - 将自己的激活函数应用于张量流中的层

Question

我正在使用一个模型，其中 tensorflow relu 函数用于激活隐藏层。所以基本上模型就是这样做的

h = tf.nn.relu(zw)

其中 zw 是前一层输出的所有元素乘以权重。根据tensorflow的relu定义会返回

max(zw,0)

所以对于张量的每个元素，0 和 zw 的每个元素的值之间的最大数。

如何应用我自己的 relu 函数，如果它大于 0，则返回元素 zw，如果它小于 0，则 zw 元素乘以 0.1？

Answer 1

你可以这样做：

h = tf.where(zw < 0, 0.1 * zw, zw)