4

Yoshua Benhgio 的Learning Deep Architectures for AI一书提到

我们应该 [...] 努力开发使用数据来确定最终架构深度的学习算法。

有人知道迄今为止提出的任何算法来实现这一点吗？

这个问题与成功的算法无关——事实上，目前似乎没有。这个问题的目的是汇总曾经提出的每一个算法，这样任何对该主题感兴趣的人都不需要花费几个月的时间来寻找它们。

到目前为止，我遇到过：

  • 平铺算法
    • 优点：添加层和单元
    • 警告：仅用于学习布尔函数，这与应用问题不太相关。
4

3 回答 3

5

可以说，学习神经网络架构最常用的算法是级联相关，由 Scott Fahlman 和 Christian Lebiere 开发。

在这里你可以找到描述，我以前在某个地方也看到过一个 C 实现，但不记得在哪里。

于 2014-02-05T02:43:57.273 回答
3

还有其他流行的遗传算法，如 NEAT 和 EANT，它们都是“增长”的神经网络。搜索有关它们的最新论文，以全面了解其他方法（相关工作）。

除了增长之外，另一种方法是从一个巨大的完全连接的网络开始并修剪连接，直到适应度受到影响。Mitchells 关于机器学习的书给出了很好的概述。

当然，有多种算法同时使用了增长和修剪。它们有时涉及“固定”网络的某些已建立部分，以便不再需要考虑固定权重进行优化。

于 2014-02-25T07:49:25.643 回答
2

我已经使用自己的程序（称为 TSAGANN）成功地使用遗传算法来搜索神经网络（单位级别）的最佳配置。

这是 论文（对不起，是西班牙语）。

我的工作重点是：

  • 研究用反向传播训练的前馈 ANN 类型的 ANN 的结构（单元数和隐藏层）；

  • 模拟退火（SA）（相当 ANN）的研究。

结果比 SA 对所研究问题的表现好于 ANN，而且计算强度较低。

进一步的工作（从未做过）是直接用 GA 优化 ANN 的结构和权重。在这种情况下，不需要反向传播，因为权重是由 GA 而不是由 ANN 优化的。训练集仅用于计算任何特定配置的误差。GA 最小化了二次误差的变体。这个意义上的初步研究是非常有前途的（目的是避免人工神经网络的训练算法，非常非常慢）。

论文使用 PROBEN1 报告结果，这是一个涵盖分类和近似问题的基准。

“全局优化”（包括权重）似乎对时间序列分析非常有前途，以便在不使用循环人工神经网络的情况下进行预测。

于 2014-02-04T14:22:17.383 回答