1

我一直在试图弄清楚如何使用 tf-slim 实现跳过/剩余连接,但我似乎无法理解。

我知道跳过连接基本上不仅为下一层提供输入,还为之后的层提供输入。我还阅读了几篇关于跳过层的论文,并记得他们提到了 F(x) + x,我认为这是在 x 上添加另一个 x 的激活函数。不过,我不确定这对在 tf-slim 中实现跳过/剩余层有何帮助。

下面是我为它编写的代码,但我不能 100% 确定我是否做得正确。该模型运行,但我不确定它是否利用了跳过连接和一切!

    input_layer = slim.fully_connected(input, 6000, activation_fn=tf.nn.relu)
    drop_layer_1 = slim.dropout(input_layer, 0.5)
    hidden_layer_1 = slim.fully_connected(drop_layer_1, 6000, activation_fn=tf.nn.relu)
    drop_layer_2 = slim.dropout(hidden_layer_1, 0.5)
    skip_layer = tf.add(input_layer, drop_layer_2)
    activate_layer = tf.nn.relu(skip_layer)
    output = slim.fully_connected(activate_layer, num_classes, activation_fn=tf.nn.softmax)

任何帮助将不胜感激。提前致谢!

4

0 回答 0