machine-learning - 机器学习。使用单层人工神经网络（相对于多层）有什么优势？

Question

今天参加了机器学习考试，我不确定一个问题。你们会选择以下哪些替代方案？

问题：使用单层人工神经网络（相对于多层）有什么优势？

• a) 学习更快
• b) 所有输入变量都是独立的
• c) 可以学习任意复杂的决策
• d) 减少限制偏差

只有一种选择是正确的。

Answer 1

我实际上发现这个非常有趣的问题，我不理解反对票（也没有接近投票 - 如果有人认为它超出了范围，这将是合理的）。

• 学习更快——相当真实，在一层神经网络中，我们有更简单的函数模型，更少的参数，所以它应该收敛得更快。尽管如此，我会说相当正确，因为对于非常具体的数据，它实际上可能是相反的——一切都取决于初始化、处理等。
• 所有输入变量都是独立的——独立于什么？这个答案似乎很奇怪，这不是模型的特征，而是基于数据的特征，所以在这个特定测试的情况下 - 也是错误的
• 可以学习任意复杂的决策——对于一层和多层神经网络都是错误的，除非我们有更多的假设（至少 2 层，连续的，可微的，非学习激活函数，任意数量的隐藏单元，存在偏差）
• 更少的限制偏差 -错误，限制偏差是对搜索模型类别的限制。在一层 NN 的情况下，我们限制为线性分类器（或多或少，取决于激活函数/内核化的使用），这是可能模型的一个非常小的子集（比 MLP 中可用的模型窄得多）