33

安装 hadoop 2.2 并尝试启动管道示例后，我得到了以下错误（尝试启动后出现相同的错误hadoop jar hadoop-mapreduce-examples-2.2.0.jar wordcount someFile.txt /out）：

/usr/local/hadoop$ hadoop pipes -Dhadoop.pipes.java.recordreader=true -Dhadoop.pipes.java.recordwriter=true -input someFile.txt -output /out -program bin/wordcount
DEPRECATED: Use of this script to execute mapred command is deprecated.
Instead use the mapred command for it.

13/12/14 20:12:06 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
13/12/14 20:12:06 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
13/12/14 20:12:07 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:08 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:09 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:10 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:11 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:12 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 5 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:13 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 6 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:14 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 7 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

我的纱线站点.xml：

<configuration>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!-- Site specific YARN configuration properties -->
</configuration>

核心站点.xml：

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

mapred-site.xml：

<configuration>
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
</configuration>

hdfs-site.xml：

<configuration>
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/home/hduser/mydata/hdfs/namenode</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/home/hduser/mydata/hdfs/datanode</value>
</property>
</configuration>

我发现我的 IPv6 应该被禁用。也许我的 /etc/hosts 不正确？

/etc/主机：

fe00::0         ip6-localnet
ff00::0         ip6-mcastprefix
ff02::1         ip6-allnodes
ff02::2         ip6-allrouters

127.0.0.1 localhost.localdomain localhost hduser
# Auto-generated hostname. Please do not remove this comment.
79.98.30.76 356114.s.dedikuoti.lt  356114
::1             localhost ip6-localhost ip6-loopback
4

10 回答 10

27

连接资源管理器的问题是因为我需要向 yarn-site.xml 添加一些属性：

<property>
<name>yarn.resourcemanager.address</name>
<value>127.0.0.1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>127.0.0.1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>127.0.0.1:8031</value>
</property>

然而，我的工作没有运行，但现在连接成功

于 2013-12-16T09:22:01.500 回答
15

确保你已经启动了 Yarn。使用此命令启动它：

启动纱线.sh

然后使用此命令验证资源管理器是否正在运行：

JP

输出应如下所示：

17542 名称节点

17920 次要名称节点

22064 日元

17703 数据节点

18226 资源管理器

18363 节点管理器

于 2014-08-10T12:34:46.113 回答
3

正确的方法可能是在yarn-site.xml中添加以下行： 

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>127.0.0.1</value>
</property>

因为值字段host代表一个主机名，可以设置它来代替设置所有yarn.resourcemanager*地址资源。导致 ResourceManager 组件的默认端口。

Apache Hadoop 2.7.1 - ResourceManager 的配置

  • 参数：yarn.resourcemanager.hostname
  • 值：ResourceManager 主机。
  • 注意：host可以设置的单个主机名来代替设置所有 yarn.resourcemanager*address 资源。导致 ResourceManager 组件的默认端口。
于 2015-07-29T11:59:07.070 回答
1

127.0.0.1:*我通过将值更改为in解决了同样的问题yarn-site.xml

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
    <name>yarn.resourcemanager.address</name>
    <value>127.0.0.1:8032</value>
     </property>
      <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>127.0.0.1:8030</value>
     </property>
    <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>127.0.0.1:8031</value>
     </property>
于 2017-06-01T13:48:07.257 回答
1

我也遇到过同样的问题。我解决了。

由于连接到 有问题ResourceManager，因此，请确保 Yarn 是否正在运行。纱线被分成不同的实体。其中之一ResourceManager是负责为集群中运行的各种应用程序分配资源。

执行以下步骤。

  1. 使用命令启动 Yarn：start-yarn.sh
  2. 使用命令检查资源管理器点头：jps
  3. 将以下代码添加到配置中
<property>
    <name>yarn.resourcemanager.address</name>
    <value>127.0.0.1:8032</value>
</property>
于 2016-04-10T22:05:53.587 回答
0

此问题可能是由于 MapReduce 应用程序连接到 yarn-site.xml 中提到的资源管理器所需的 HADOOP_CONF_DIR 缺失所致。因此，在运行 MapReduce 作业之前，请尝试使用适当的 Hadoop Conf 目录手动设置/导出 HADOOP_CONF_DIR，例如 export HADOOP_CONF_DIR=/etc/hadoop/conf。这种方式对我有用:)

于 2016-11-03T11:49:23.240 回答
0

发生此错误是因为资源管理器未能启动。如果您已经按照其他人所说的更改配置文件并仍然收到错误，请参考它。

注意：- Windows 10、Hadoop 3.1.3 已验证

因此，如果您是 Windows 用户，请转到 hadoop-3.1.3/sbin/。执行 stop-all.cmd 然后 start-all.cmd

现在会打开许多​​终端，它们是节点管理器、数据节点、名称节点和资源管理器。请参阅资源管理器终端中的错误消息。这个错误应该是你的问题。

如果错误消息是这样的：-
java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/server/timelineservice/collector/TimelineCollectorManager

将以下文件
从 ~/hadoop-3.1.3/share/hadoop/yarn/timelineservice
文件中复制：hadoop-yarn-server-timelineservice-3.1.3.jar
到 ~/hadoop-3.1.3/share/hadoop/yarn

这应该可以解决您的问题。

于 2020-04-24T08:26:08.707 回答
0 
Configuration conf = HBaseConfiguration.create();
 conf.set("yarn.resourcemanager.address", "127.0.0.1:8032");

在 conf 中你可以设置 yarn.resourcemanager.address

于 2016-01-15T09:36:12.400 回答
0

就我而言，我的 xml 配置文件中有错字。您可以在 $HADOOP_HOME/logs/yarn-rdmaHB-resourcemanager-(yourhostname).log 中查看日志，可能会有有用的堆栈跟踪。

于 2019-08-01T22:20:22.070 回答
-4

在以下设置中使用以下设置/etc/hosts，添加您的主机名代替your_host_name：

127.0.0.1   localhost
127.0.0.1   your_host_name
于 2015-02-23T15:07:33.637 回答