hadoop - 如何使用 Hadoop 2.x 提交 Hadoop 流作业并检查执行历史记录

Question

我是 Hadoop 的新手。在 Hadoop 1.X 中，我可以从 master 节点提交一个 hadoop 流作业，并从 namenode web 检查结果和执行时间。

以下是 Hadoop 1.X 中 hadoop 流的示例代码：

$HADOOP_HOME/bin/hadoop  jar $HADOOP_HOME/hadoop-streaming.jar \
-input myInputDirs \
-output myOutputDir \
-mapper /bin/cat \
-reducer /bin/wc

但是，在 Hadoop 2.x 中，作业跟踪器被删除。如何在 Hadoop 2.X 中获得相同的功能？

Answer 1

在 Hadoop 2.0 中，您可以通过多种方式查看作业

1) 从 ResourceManager UI ResourceMnagerhostname:8088/cluster
查看作业 2) 从 HUE - HUEServerHostname.com:8888/jobbrowser/ 查看作业
3) 从命令行（作业完成后）

用法：纱线日志-applicationId [选项]

一般选项有： -appOwner AppOwner（如果未指定，则假定为当前用户） -containerId ContainerId（如果指定节点地址则必须指定） -nodeAddress NodeAddress 格式为 nodename:port（如果指定容器 id，则必须指定） 示例：纱线日志-applicationId application_1414530900704_0005