1

我正在设置一个 hadoop 2.2 集群。我已经成功配置了一个master和一个slave。当我进入主服务器时，所有守护程序都正确启动start-dfs.sh。start-yarn.sh

具体来说，在主服务器上正在运行以下内容：

  • 数据节点
  • 节点管理器
  • 名称节点
  • 资源管理器
  • 次要名称节点

在从站上，正在运行以下命令：

  • 数据节点
  • 节点管理器

当我打开时http://master-host:50070，我看到只有 1 个“活动节点”，它指的是主节点上的数据节点。

从站上的数据节点已启动，但无法告诉主站它已启动。这是我能找到的唯一错误：

从 /logs/hadoop-hduser-datanode.log 从站：WARN org.apache.hadoop.hdfs.server.datanode.DataNode：连接到服务器时出现问题：ec2-xx-xxx-xx-xx.compute-1.amazonaws .com/xx.xxx.xx.xxx:9001

我已经检查/验证的事情：

  • 9001 已开通
  • 两个节点都可以互相 ssh
  • 两个节点可以互相ping通

非常感谢任何建议。

4

1 回答 1

1

我的问题在主机文件中：

从属和主控上的主机文件必须是（它们是相同的_：

127.0.0.1 localhost
<master internal ip> master
<slave internal ip> slave

对于 AWS，您需要使用类似于 xx.xxx.xxx.xxx 的内部 ip（不是 ec2-xx-xx-xxx.aws.com 中的外部 ip，而不是 ip-xx-xx-xxx）。

此外，core-site.xml 应将 hdfs 的位置称为http://master:9000.

于 2013-11-01T19:46:08.477 回答