我正在尝试使用 TensorFlow 2.0应用引导式反向传播( https://arxiv.org/abs/1412.6806 )。要应用引导反向传播,我们需要修改 relu 梯度。我阅读了如何在 Tensorflow 2.0 中应用 Guided BackProp?并尝试调整来自 https://gist.github.com/falcondai/561d5eec7fed9ebf48751d124a77b087的代码,但结果与我预期的不一样。我不确定我错过了什么。
这是我所拥有的(结合上面来源的代码):
import tensorflow as tf
@tf.RegisterGradient("GuidedRelu")
def _GuidedReluGrad(op, grad):
dtype = op.inputs[0].dtype
gate_f = tf.cast(op.outputs[0] > 0, dtype) #for f^l > 0
gate_R = tf.cast(grad > 0, dtype) #for R^l+1 > 0
return gate_f * gate_R * grad
with tf.compat.v1.get_default_graph().gradient_override_map({'Relu': 'GuidedRelu'}):
with tf.GradientTape() as tape:
x = tf.constant([10., 2.])
tape.watch(x)
y = tf.nn.relu(x)
z = tf.reduce_sum(-y ** 2)
print(x.numpy())
print(y.numpy())
print(z.numpy())
print(tape.gradient(z, x).numpy())
输出是
[10. 2.]
[10. 2.]
-103.99999
[-20. -4.]
代替
[10. 2.]
[10. 2.]
-103.99999
[0. 0.]