6

该问题链接到我之前的问题All the daemons are running, jps 显示：

6663 JobHistoryServer
7213 ResourceManager
9235 Jps
6289 DataNode
6200 NameNode
7420 NodeManager

但是该wordcount示例继续失败，但出现以下异常：

ERROR security.UserGroupInformation: PriviledgedActionException as:root (auth:SIMPLE) cause:java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.
Exception in thread "main" java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.
    at org.apache.hadoop.mapreduce.Cluster.initialize(Cluster.java:120)
    at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:82)
    at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:75)
    at org.apache.hadoop.mapreduce.Job$9.run(Job.java:1238)
    at org.apache.hadoop.mapreduce.Job$9.run(Job.java:1234)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
    at org.apache.hadoop.mapreduce.Job.connect(Job.java:1233)
    at org.apache.hadoop.mapreduce.Job.submit(Job.java:1262)
    at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1286)
    at WordCount.main(WordCount.java:80)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:212)

由于它说问题出在配置中，因此我在此处发布配置文件。目的是创建一个单节点集群。

纱线站点.xml

<?xml version="1.0"?>
 <configuration>
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
<property>
   <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
   <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

核心站点.xml

<configuration>
<property>
   <name>fs.default.name</name>
   <value>hdfs://localhost:9000</value>
</property>
</configuration>

hdfs-site.xml

 <configuration>
 <property>
   <name>dfs.replication</name>
   <value>1</value>
 </property>
 <property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/home/hduser/yarn/yarn_data/hdfs/namenode</value>
 </property>
 <property>
   <name>dfs.datanode.data.dir</name>
   <value>file:/home/hduser/yarn/yarn_data/hdfs/datanode</value>
 </property>
 </configuration>

mapred-site.xml

<configuration>
  <property>
      <name>mapreduce.framework.name</name>
      <value>Yarn</value>
  </property>
</configuration>

请告诉我缺少什么或我做错了什么。

4

5 回答 5

21

我有类似的问题，但纱线不是问题。将以下 jar 添加到我的类路径后，问题得到解决：

  • hadoop-mapreduce-client-jobclient-2.2.0.2.0.6.0-76
  • hadoop-mapreduce-client-common-2.2.0.2.0.6.0-76
  • hadoop-mapreduce-client-shuffle-2.2.0.2.0.6.0-76
于 2014-05-30T13:40:53.337 回答
4

你有大写Yarn，这可能是它无法解决它的原因。尝试官方文档中建议的小写版本。

<configuration>
  <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
  </property>
</configuration>
于 2013-10-28T19:07:14.997 回答
2

看起来我度过了幸运的一天，并且经历了“所有”这些原因。概括：

于 2014-06-06T07:53:04.813 回答
1

在我的情况下，我试图使用 sqoop 并遇到了这个错误。事实证明，我指的是 CDH 存储库中不支持 sqoop 的最新版本的 hadoop 2.0。cloudera 的版本是 2.0.0-cdh4.4.0，内置了 yarn 支持。

当我在 hadoop-0.20 下使用 2.0.0-cdh4.4.0 时，问题就消失了。
希望这可以帮助。

于 2014-08-21T21:52:37.630 回答
0

将 mapreduce_shuffle 更改为 mapreduce.shuffle 使其适用于我的情况

于 2014-09-15T19:29:33.530 回答