13

什么是进化计算?它是一种强化学习的方法吗?还是一种单独的机器学习方法?或者可能没有?

请引用用于回答此问题的参考资料。

4

5 回答 5

13

有一些进化方法明确旨在解决强化学习问题。该子领域通常称为学习分类器系统 (LCS),有时也称为基于遗传学的机器学习 (GBML)。

除此之外,我不确定您的问题是否有一个非常明确的答案。它基本上归结为“什么是机器学习?” 对于如何回答这个问题,我们都没有一致同意的标准。对于某些人来说,EC 可能是该子领域的一部分。对于其他人,它不是。我刚刚从书架上挑选了几本 ML 教科书,其中大约一半包含关于进化方法的材料。我怀疑 15 年前这个比例会更高,但时尚在改变,机器学习现在几乎是统计学的一个子领域。EC 方法不太适合这种模式。

于 2012-10-08T16:02:32.960 回答
6

进化计算或进化算法是优化算法,当应用于神经网络(如神经进化)时,当然可以归类为强化学习的一种形式,尽管它的工作方式与通常的强化学习算法有点不同。

通常,在诸如遗传算法或进化策略之类的进化算法中,您需要优化整个个体群体。对于这些个体中的每一个,质量函数用于确定他们的“适合度”(如“适者生存”),并为下一代选择最佳个体。然后,这些“父母”会被随机复制、修改、变异,甚至相互重新组合——在每种不同的算法中,这究竟是如何完成的有点不同。最后,那些新的突变和/或重组的父母形成了下一代的种群,这个过程再次开始,直到达到某种期望的质量,或者质量达到水平。

在神经进化的情况下,个体是神经网络,通过随机改变权重(而在经典神经网络中,权重根据非常精确的数学规则更新)甚至改变它们的拓扑结构和个体的质量而发生变异取决于他们在训练数据上的表现。

抱歉,这里没有严格的科学参考,但也许这仍然有助于澄清一些事情。

于 2012-09-13T19:24:31.043 回答
5

强化学习 [1] 和进化计算 [2] 之间的主要区别在于,原始意义上的 RL 是应用于环境中的代理,学习策略(另见关于强化学习的维基百科文章),而 EC 更多的是一类搜索算法的通用术语,它使用“进化”启发的方法来优化搜索。我根本不会将 EC 归类为机器学习,而且我还没有找到这样的来源。

[1] 强化学习:介绍 - RS Sutton, AG Barto - 1998 - 剑桥大学出版社

[2] 什么是进化计算?- DB Fogel - 频谱,IEEE,2000

于 2012-09-14T15:57:45.550 回答
2

2017 年更新:答案是肯定的。过去一个月在强化学习中下载次数最多的论文,恰如其分地命名为“进化策略作为强化学习的可扩展替代方案”确实是城里的话题。

于 2017-04-27T15:06:01.823 回答
0

那么,进化计算在哪里?它是一种强化学习的方法吗?还是一种单独的机器学习方法?或者可能没有?

我认为 EC 和 ML 是截然不同的。但是,有一些很棒的应用程序可以结合使用。虽然这已经是一个小领域的研究很长一段时间了,但我觉得在结合 EC 和 ML 的领域有一些唾手可得的成果。我认为很多人没有耐心看透这些想法。

于 2013-03-12T13:31:42.300 回答