tensorflow - 神经网络使用 TF-Slim 跳过连接？

Question

我只有几个关于神经网络和跳过连接的问题：

1. 当人们说 3-layer NN 时，这意味着有一个输入层、一个隐藏层和一个输出层，对吧？

2. 我似乎无法在网上找到很多关于跳过连接/层的资源/信息。它们通常用于什么类型的神经网络？MLP？美国有线电视新闻网？循环神经网络？

3. 另外，是否可以使用 tensorflow 和 TF-slim 实现跳过连接？我检查了 TF-slim 库，但它似乎不包含跳过层作为其包含的层之一。

提前非常感谢！

Answer 1

1. 是的，3 层 NN 是具有一个隐藏层的 NN。
2. 它们不用于特定类型的神经网络。您基本上可以在 MLP 上非常轻松地实现它们。但术语“跳过层”实际上仅适用于完全连接的分层网络。更抽象的网络，如LSTM (RNN)，具有仅前馈到另一个特定神经元组的神经元组。但是很难将这些“跳过层”突触称为架构。如果“跳过层”的定义是一个神经元组前馈到另一个不在激活线中的神经元组，那么大多数架构都有“跳过层”突触（GRU、Hopfield、NARX）。
3. 我不熟悉tensorflow，无法回答:)