0

我想在集群中迭代地调用 map-reduce 作业。在每次迭代中，映射器应处理大约 10000 条大容量记录。在每次迭代中，主节点使用不同的参数调用这些映射器，但输入记录保持不变。每次调用映射器时都不需要加载这些记录；在迭代中将它们缓存在主内存中会很棒，并且只需处理给定的新参数值。

我计划使用运行 Hadoop 的 AWS Elastic MapReduce，而我的实现使用 Python，因此 Java API 似乎没有帮助。是否可以在该架构中实现这样的缓存？如果不是，AWS 或其他公有云中的合适架构是什么？

4

1 回答 1

1

Hadoop 1 中的 Map/Reduce 不适合这种情况。你应该看看 Hadoop 2.0 和 YARN，它们可以实现更灵活的模型。

您还可以查看可以在 AWS 上运行并通过steaming支持 python的Apache Hama

于 2013-09-19T16:15:13.627 回答