我正在考虑使用 Hadoop 编写一个基于代理的简单框架。这是一个我已经玩了很长时间的想法(但还没有深入思考)。
我想使用它的目标应用程序是遗传编程。想法是我会产生很多代理,让他们执行一项任务,评估他们的遗传适应性,然后繁殖它们,然后重复整个练习。
我想知道人们是否对使用 Hadoop 进行此操作有任何直接的想法/批评。
提前致谢。
我正在考虑使用 Hadoop 编写一个基于代理的简单框架。这是一个我已经玩了很长时间的想法(但还没有深入思考)。
我想使用它的目标应用程序是遗传编程。想法是我会产生很多代理,让他们执行一项任务,评估他们的遗传适应性,然后繁殖它们,然后重复整个练习。
我想知道人们是否对使用 Hadoop 进行此操作有任何直接的想法/批评。
提前致谢。
我认为您应该研究 hadoop 2.0 的 YARN。它使您能够运行任何不限制您使用 MR 范式的任意逻辑
这取决于您的代理如何真正适合 map/reduce 方法。如果代理产生的结果将在减少阶段被消耗并且新的作业将被启动 - 你可以使用 Hadoop。如果你的代理依赖于彼此的结果 - 你可能想尝试一下 Storm ( https://github.com/nathanmarz/storm/wiki )