1

我正在尝试在 hadoop 0.23.0 中添加容量调度程序并尝试运行示例 pi、randomwriter 程序。

所有的守护进程都已启动并且工作正常，但是作业被挂起并且没有更多的输出被显示。

我无法看到它们累积的日志。任何人都可以让我知道这个工作挂起的原因，以及存储日志的位置。

2012-06-08 18:41:06,118 INFO  mapred.YARNRunner (YARNRunner.java:createApplicationSubmissionContext(355)) - Command to launch container for ApplicationMaster is : $JAVA_HOME/bin/java -Dlog4j.configuration=container-log4j.properties -Dyarn.app.mapreduce.container.log.dir=<LOG_DIR> -Dyarn.app.mapreduce.container.log.filesize=0 -Dhadoop.root.logger=INFO,CLA -Xmx1536m org.apache.hadoop.mapreduce.v2.app.MRAppMaster 1><LOG_DIR>/stdout 2><LOG_DIR>/stderr 
2012-06-08 18:41:06,251 INFO  mapred.ResourceMgrDelegate (ResourceMgrDelegate.java:submitApplication(304)) - Submitted application application_1339151256291_0003 to ResourceManager
2012-06-08 18:41:06,355 INFO  mapreduce.Job (Job.java:monitorAndPrintJob(1207)) - Running job: job_1339151256291_0003
2012-06-08 18:41:07,366 INFO  mapreduce.Job (Job.java:monitorAndPrintJob(1227)) -  map 0% reduce 0%
4

1 回答 1

1

我按照http://www.thecloudavenue.com/search?q=0.23上的说明在一个小型 3 节点集群上成功运行了 Hadoop-0.23.4。

检查日志文件中的

$HADOOP_HOME/日志

主从服务器上的任何错误的文件夹。

检查以下控制台

//master:50070/dfshealth.jsp

检查DataNode的数量是否正确

//master:50070/dfsnodelist.jsp?whatNodes=LIVE

检查 NodeManager 的数量是否正确报告

//master:8088/集群

节点管理器的数量也应该在

//master:8088/集群/节点

验证是否已通过 NameNode Web 控制台创建了具有正确内容的输出文件夹

//master:50070/nn_browsedfscontent.jsp

于 2012-11-14T00:19:56.083 回答