neural-network - 基于复杂性添加层的神经网络架构？

Question

我正在寻找基于需要或训练数据的复杂性/可变性而增长的神经网络架构的现有工作。我发现的一些架构包括自组织地图和不断增长的神经气体。外面只有这些吗？

我正在寻找的最好用一个简单的场景来说明；如果训练数据只有几个模式，那么神经网络将有 2-3 层深，每层都有一小部分节点。如果训练数据更复杂，那么我们会看到更深的网络。

这样的工作在 AI 文献中似乎很少或不存在。是因为性能比较弱吗？我会很感激任何指导。

Answer 1

这方面的一个例子称为神经进化。您可以做的是将反向传播与进化相结合，为您的数据集找到最佳结构。Neataptic是提供神经进化的 NN 库之一。通过一些简单的编码，您可以将其变成反向传播 + 进化。

这样做的缺点是它需要更多的计算能力，因为它需要遗传算法来运行整个种群。因此，使用神经进化确实会使性能相对较弱。

但是，我认为还有更多技术可以禁用某些节点，如果对输出没有负面影响，它们将被删除。不过我不确定。