1

我是这个主题的新手，并尝试了一些不同的事情来逃避本地最低要求。我使用随机学习率和动量，但对于一小部分训练，它卡住并且无法学习任何东西（有时卡在开始，有时在中间），即使是随机的起始权重和偏差。

我尝试了几种不同的设置来教授 XOR，例如：

 1)Faster learning but with a bigger chance of locally trapped. 
 (learns in less than 1200 iterations total)

 2)Slow learning but with evading local minimum better.
 (learns under 40k iterations total)

 3)Very steep learning with ~%50 chance of pit-fall(learns under 300 iterations total)

问题：让几个学生参加培训并选择最好的学习者值得吗？或者我们是否需要专注于为单一设置获得 %100 的成功率？

例子：

 3 students (XOR candidates) learning in parallel: 

 -First student is learning fast(learns first, tells others to stop to save cycles)
 -Other two are slow learners to increase success rate of training
4

1 回答 1

5

有许多可能的方法来逃避局部最小值。过去曾研究过并行学习，结果不同，但没有达到“全局使用”。一些研究人员简单地提出使用不同参数和/或起点的重复训练，其他人尝试使用其他训练算法，如模拟退火报告良好的结果。

最新的方法包括所谓的极限学习机，其中神经网络以高度正则化的形式学习，使用 Moore-Penrose 伪逆找到全局最小值。如果您在工作中遇到局部最小值问题，我建议您尝试一下，作为一个非常新的、强大且取得令人惊讶的好结果的模型 - 模型。

我真的不明白你为什么要提到 XOR 问题，AFAIK这个问题没有局部最小值。

我从未听过有人称机器学习模型为“学生”，这使得这个问题读起来很奇怪。有些人用的是“学习者”但“学生”？

于 2013-08-30T18:02:05.850 回答