hadoop - 实现 Map Reduce 的最佳编程方式

Question

我们有一个问题，这是应用 MapReduce 编程技术的理想案例。最初的代码是用 Python 编写的。现在我们有以下选项：

1. 使用 Hadoop 和 Java 实现 MapReduce 部分。
2. 使用 mincemeat 和 Python 来实现 MapReduce 部分。
3. 使用 Hadoop 和 Python（Python中的 Hadoop MapReduce Program）来实现 MapReduce 部分。

我不太确定哪个是最好的选择。有人可以帮忙吗？

Answer 1

由于您的初始代码是在 python 中，并且无论是用 python 还是 Java 编写 MR 并没有太大的区别，所以 (3) 应该是为您的场景追求的最佳选择。您可能还想探索像https://github.com/Yelp/mrjob这样的库，它们可以更轻松地在 python 中编写 MR 作业。