4

我正在迈出掌握 hadoop 的第一步。我已经在分布式模式下（在两个虚拟机上）设置了 CDH4.5。我在使用 YARN 运行 MapReduce 作业时遇到问题。我可以成功启动 DistributedShell 应用程序（来自 CDH 示例），但是一旦我运行 MapReduce 作业，它就会永远挂在那里。

这就是我要推出的：

sudo -uhdfs yarn jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 1 1

这些是最后一个资源管理器的日志行：

13/12/10 23:30:02 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1386714123362_0001
13/12/10 23:30:02 INFO client.YarnClientImpl: Submitted application application_1386714123362_0001 to ResourceManager at master/192.168.122.175:8032
13/12/10 23:30:02 INFO mapreduce.Job: The url to track the job: http://master:8088/proxy/application_1386714123362_0001/
13/12/10 23:30:02 INFO mapreduce.Job: Running job: job_1386714123362_0001

运行作业后，节点管理器的日志不会收到任何新消息。

这是我在资源管理器的网页上看到的关于该工作的内容：

State - ACCEPTED
FinalStatus - UNDEFINED
Progress - (progress bar in 0%) 
Tracking UI - UNASSIGNED

Apps Submitted - 1
Apps Pending - 1 
Apps Running - 0
4

2 回答 2

0

我在http://hadoop.apache.org/docs/r2.0.6-alpha/hadoop-project-dist/hadoop-common/releasenotes.html找到了这个：

纱线300。主要错误由 shenhong 报告并由 Sandy Ryza (resourcemanager , scheduler) 修复。在 YARN-271 之后，公平调度程序可以无限循环并且不调度任何应用程序。在 yarn-271 之后，当 yarn.scheduler.fair.max.assign<=0 时，当一个节点被保留时，fairScheduler 将无限循环，不调度任何应用程序。

尝试使用新版本 ie 2.0 以上

于 2014-01-17T07:13:46.207 回答
0

可能是系统资源问题，我通过重启系统解决了。

于 2019-09-04T12:57:19.157 回答