1

我正在设置一个 hadoop 2.2 集群。我已经成功配置了一个master和一个slave。当我进入主服务器时,所有守护程序都正确启动start-dfs.shstart-yarn.sh

具体来说,在主服务器上正在运行以下内容:

  • 数据节点
  • 节点管理器
  • 名称节点
  • 资源管理器
  • 次要名称节点

在从站上,正在运行以下命令:

  • 数据节点
  • 节点管理器

当我打开时http://master-host:50070,我看到只有 1 个“活动节点”,它指的是主节点上的数据节点。

从站上的数据节点已启动,但无法告诉主站它已启动。这是我能找到的唯一错误:

从 /logs/hadoop-hduser-datanode.log 从站:WARN org.apache.hadoop.hdfs.server.datanode.DataNode:连接到服务器时出现问题:ec2-xx-xxx-xx-xx.compute-1.amazonaws .com/xx.xxx.xx.xxx:9001

我已经检查/验证的事情:

  • 9001 已开通
  • 两个节点都可以互相 ssh
  • 两个节点可以互相ping通

非常感谢任何建议。

4

1 回答 1

1

我的问题在主机文件中:

从属和主控上的主机文件必须是(它们是相同的_:

127.0.0.1 localhost
<master internal ip> master
<slave internal ip> slave

对于 AWS,您需要使用类似于 xx.xxx.xxx.xxx 的内部 ip(不是 ec2-xx-xx-xxx.aws.com 中的外部 ip,而不是 ip-xx-xx-xxx)。

此外,core-site.xml 应将 hdfs 的位置称为http://master:9000.

于 2013-11-01T19:46:08.477 回答