我正在设置一个 hadoop 2.2 集群。我已经成功配置了一个master和一个slave。当我进入主服务器时,所有守护程序都正确启动start-dfs.sh
。start-yarn.sh
具体来说,在主服务器上正在运行以下内容:
- 数据节点
- 节点管理器
- 名称节点
- 资源管理器
- 次要名称节点
在从站上,正在运行以下命令:
- 数据节点
- 节点管理器
当我打开时http://master-host:50070
,我看到只有 1 个“活动节点”,它指的是主节点上的数据节点。
从站上的数据节点已启动,但无法告诉主站它已启动。这是我能找到的唯一错误:
从 /logs/hadoop-hduser-datanode.log 从站:WARN org.apache.hadoop.hdfs.server.datanode.DataNode:连接到服务器时出现问题:ec2-xx-xxx-xx-xx.compute-1.amazonaws .com/xx.xxx.xx.xxx:9001
我已经检查/验证的事情:
- 9001 已开通
- 两个节点都可以互相 ssh
- 两个节点可以互相ping通
非常感谢任何建议。