0

按照快速入门指南http://whirr.apache.org/docs/0.8.1/quick-start-guide.html的示例,我想启动一个 whirr hadoop 集群。不幸的是,我在这里遇到了与此条目相同的错误Whirr: Cannot connect to Hadoop cluster on EC2 after lauch-cluster。我在启动集群的输出中看到下载 hadoop 时似乎已经存在一些问题。有任何想法吗?谢谢!

bin/whirr launch-cluster --config ~/.whirr/hadoop.propertiesRunning on provider aws-ec2 using identity AKIAJUS7X6OK3HC3SJMQ Bootstrapping cluster 为 bootstrap-hadoop-datanode_hadoop-tasktracker 配置模板 为 bootstrap-hadoop-jobtracker_hadoop-namenode 配置模板 启动 1 个节点(s) 具有角色 [hadoop-datanode, hadoop-tasktracker] 启动 1 个具有角色 [hadoop-jobtracker, hadoop-namenode] 的节点

在节点(us-east-1/i-6343df03)上运行 InitScript{INSTANCE_NAME=bootstrap-hadoop-jobtracker_hadoop-namenode} 在节点上运行 InitScript{INSTANCE_NAME=bootstrap-hadoop-datanode_hadoop-tasktracker}(us-east-1/i- 6143df01)

<< 在节点(us-east-1/i-6143df01)上运行 InitScript{INSTANCE_NAME=bootstrap-hadoop-datanode_hadoop-tasktracker} 时出错:{output=此函数什么都不做。它只需要存在,因此 Statements.call("retry_helpers") 不会调用不存在的东西 .... .... 无法下载 http://apache.osuosl.org/hadoop/common/hadoop -1.0.4/ hadoop- 1.0.4.tar.gz.md5。继续。hadoop-1.0.4.tar.gz 下载失败。中止。,错误=dpkg-preconfigure:无法重新打开标准输入:

4

1 回答 1

2

指定 tarball url 将帮助您正确安装 hadoop。

例如

whirr.hadoop.version=1.2.1
whirr.hadoop.tarball.url=http://apache.osuosl.org/hadoop/common/hadoop-${whirr.hadoop.version}/hadoop-${whirr.hadoop.version}.tar.gz

md5下载的错误是因为whirr使用install_tarball.shwhirr/core/src/main/resources/functions

你可以改变HadoopClusterActionHandler.java使用install_tarball_no_md5.shwhirr/core/src/main/resources/functions/

于 2013-09-11T02:06:29.490 回答