我计划使用神经网络来逼近强化学习算法中的价值函数。我想这样做是为了介绍一些关于我如何表示状态和动作的概括和灵活性。
现在，在我看来，神经网络是做到这一点的正确工具，但是由于我不是 AI 专家，因此我在这里的能见度有限。特别是，现在神经网络似乎正在被其他技术所取代，例如支持向量机，但我不确定这是否是一种时尚问题，或者神经网络是否存在一些真正的限制可能会毁掉我的方法。你有什么建议吗？
谢谢，
图努兹
问问题
970 次
4 回答
3
的确，神经网络不再像以前那样流行，但它们几乎没有死。它们失宠的一般原因是支持向量机的兴起，因为它们在全球范围内收敛并且需要更少的参数规范。
然而，SVM实施起来非常繁琐，并且不能像 ANN 那样自然地推广到强化学习（SVM 主要用于离线决策问题）。
如果您的任务似乎适合某个人，我建议您坚持使用人工神经网络，因为在强化学习领域，人工神经网络仍然处于性能的最前沿。
这是一个很好的起点；只需查看标题为“时间差异学习”的部分，因为这是 ANN 解决强化学习问题的标准方式。
不过需要注意的是：机器学习的最新趋势是通过bagging 或 boosting将许多不同的学习代理一起使用。虽然我在强化学习中没有看到这么多，但我确信采用这种策略仍然比单独使用人工神经网络要强大得多。但除非你真的需要世界级的性能（这就是赢得 netflix 比赛的原因），否则我会避开这种极其复杂的技术。
于 2011-08-02T22:32:57.567 回答
2
在我看来，神经网络正在卷土重来。例如，今年ICML 2011 上有很多关于神经网络的论文。我绝对不会认为他们放弃软件。话虽如此，我不会将它们用于强化学习。
于 2011-08-07T10:51:18.520 回答
0
神经网络是逼近复杂函数的一种不错的通用方法，但它们很少是任何特定学习任务的最佳选择。它们难以设计，收敛速度慢，并且陷入局部最小值。
如果您没有使用神经网络的经验，那么您可能更乐意使用更直接的方法来泛化 RL，例如粗编码。
于 2011-08-02T12:38:54.093 回答
0
理论上，已经证明神经网络可以逼近任何函数（给定无限数量的隐藏神经元和必要的输入），所以不，我认为神经网络永远不会成为废弃软件。
SVM 很棒，但它们不能用于所有应用程序，而神经网络可以用于任何目的。
将神经网络与强化学习结合使用是标准且众所周知的，但要小心绘制和调试神经网络的收敛性，以检查它是否正常工作，因为众所周知，神经网络难以正确实施和学习。
还要非常小心你给你的神经网络的问题的表示（即：输入节点）：你或者专家可以解决你给网络输入的问题吗？很多时候，实现神经网络的人没有为神经网络提供足够的信息来推理，这并不少见，所以要小心。
于 2013-12-28T13:00:58.783 回答