hadoop - 如何从 HDFS 执行 map reduce 程序（例如 wordcount）并查看输出？

Question

我是 Hadoop 新手。我在 eclipse 中有一个简单的 wordcount 程序，它接受输入文件，然后显示输出。但我需要从HDFS执行相同的程序。我已经为 wordcount 程序创建了一个 JAR 文件。任何人都可以让我知道如何进行吗？

Answer 1

您需要设置集群，即使是单节点集群。然后您可以从 hadoop 命令行运行您的 .jar：

jar

运行一个 jar 文件。用户可以将他们的 Map Reduce 代码捆绑在一个 jar 文件中并使用此命令执行它。

Usage: hadoop jar <jar> [mainClass] args...

流作业通过此命令运行。例子可以参考Streaming examples

字数统计示例也使用 jar 命令运行。可以参考Wordcount 例子

Answer 2

最初，您需要按照 Remus 的讨论设置一个 hadoop 集群。

单节点设置和多节点设置是开始的两种好方法。

完成设置后，启动 hadoop 守护程序并将输入文件复制到任何 hdfs 目录中。

准备程序的 jar。

使用在终端上运行 jarhadoop jar <you jar name> <your main class> <input path><output directory path>

（jar 参数取决于您的程序）