1

在许多手册中，都有使用 Hadoop 发行版中的 hadoop shellscript 向 Hadoop 提交作业的说明。如我所见，这意味着在客户端主机上安装整个 Hadoop 生态系统，并在站点设置中配置主节点等。

有没有其他方法可以在客户端没有安装 Hadoop 的情况下提交作业？

4

1 回答 1

3

Hadoop 不会阻止我们从远程客户端提交作业，而无需在其上安装 Hadoop。任何共享同一网络的机器都可以用来提交作业。客户只需提交作业，然后等待作业完成即可。

也就是说，有几种方法可以做到这一点。一种方法是直接通过 IDE（例如 Eclipse）运行代码。但是，您需要将 IDE 指向集群，

conf.set("fs.default.name", "hdfs://NN_HOST:9000");
conf.set("mapred.job.tracker", "JT_HOST:9001");

另一种方法是创建一个包含所有必需二进制文件的胖 jar。将 jar 复制到您的 JT 机器并在那里运行。

你可以在这里和这里找到更多。

于 2013-07-10T13:05:16.517 回答