perl - 我可以用不同的语言编写映射器和减速器程序吗

Question

我觉得在 Perl 脚本中进行 Mapper 操作，但后来我意识到用 Python 编写 Reducer 会更容易。Mapper 和 Reducer 可以在不同的编程语言中工作吗？

Answer 1

从标签听起来你正在使用亚马逊的 Elastic Map Reduce 服务。这个问题在他们出色的常见问题解答中得到了回答：

问：Amazon Elastic MapReduce 支持哪些编程语言？

您可以使用 Java 来实现 Hadoop 自定义 jar。或者，您可以通过 Hadoop Streaming 使用其他语言，包括Perl、Python、Ruby、C++、PHP 和 R。有关使用 Hadoop Streaming 的说明，请参阅开发人员指南。

换句话说，任何可以写入文件的东西都可以在 EMR 映射或归约步骤中使用。