deep-learning - 没有卷积的 DenseNet？

Question

最近的论文 Densely Connected Convolutional Networks https://arxiv.org/abs/1608.06993 表明他们的 DenseNet 深度学习架构优于最先进的 ResNet 架构。是否有类似架构但没有卷积（RNN/只是密集）的类似论文/存储库？

Answer 1

不。

简单的答案是卷积本身允许通过利用数据局部性来进行正则化，这在大多数图像中都是正确的。这也是实现更深网络的关键，这对于更深层次的表示至关重要。

另一个关键原因是，只有输入大小（通常为 224*224）的密集层会占用大部分 GPU 内存，因此今天几乎没有机会为这种大小或更多的图像实现密集网络层深。也许如果你有 10 倍的 GPU RAM，你可以尝试把它拉下来……卷积更经济。