2

启动所有其他节点后，当我尝试启动 nodemanager 时，它似乎已打开然后自动终止。如下所示：

Yitongs-MacBook-Pro:hadoop timyitong$ sbin/yarn-daemon.sh start nodemanager
starting nodemanager, logging to /Users/timyitong/Dev/hadoop/logs/yarn-timyitong-nodemanager-Yitongs-MacBook-Pro.local.out
Yitongs-MacBook-Pro:hadoop timyitong$ jps
8981 DataNode
9300 Jps
9139 JobHistoryServer
8932 NameNode
9038 ResourceManager

我没有收到任何错误，任何异常，但节点管理器不存在。当我试图停止它时，它会这样说（stopnodes.sh 只是一个脚本），它确认 nodemanager 不存在：

Yitongs-MacBook-Pro:hadoop timyitong$ sh stopnodes.sh 
stopping namenode
stopping datanode
stopping resourcemanager
no nodemanager to stop
stopping historyserver

而且我不确定是否是因为 nodemanager 没有启动，当我尝试运行示例 wordcount 程序时，我总是让我的任务永远挂起。

我的环境是 OS X 10.8，Hadoop YARN 2.2.0。而且我已经用export JAVA_HOME=$(/usr/libexec/java_home -v 1.6).

4

2 回答 2

5

实际上我曾经bin/yarn nodemanger直接启动服务器并发现了问题。在yarn-site.xml我不应该设置yarn.nodemanager.aux-services包含点 (.) 之类的名称的地方mapreduce.shuffle。改成之后mapreduce.shuffle，mapreduce_shuffle问题就解决了。

真的不明白为什么它不允许点，因为我根据这篇博客文章配置了所有内容，这个设置似乎很好。 

<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce.shuffle</value>
</property>
<property>
   <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
   <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

</configuration>
于 2013-10-26T03:14:00.980 回答
1

mapreduce.shuffle 应该是 mapreduce_shuffle 。请注意 _（下划线而不是点）。也看看http://www.thecloudavenue.com/2012/01/getting-started-with-nextgen-mapreduce.html

于 2013-11-23T15:11:52.507 回答