问题标签 [apache-whirr]

我正在尝试使用 Whirr 在 EC2 上使用 Hadoop 和 Hbase 创建一个测试集群。

遵循一些网站的说明：

• http://whirr.apache.org/docs/0.7.0/whirr-in-5-minutes.html
• http://www.bigfastblog.com/run-the-latest-whirr-and-deploy-hbase-in-minutes
• http://dal-cloudcomputing.blogspot.com/2011/06/how-to-set-up-hadoop-and-hbase-together.html

我没有问题的步骤（或者我认为......）：

• 使用 ssh-keygen -t rsa 生成 ssh 密钥对
• 使用键、amis、区域和节点数（1 个主节点，1 个数据节点）修改 hbase 配方
• 启动集群

此时，我在我的 AWS 面板中看到了 2 个新的 EC2 实例，我可以通过 ssh 将它们连接到这两个实例，但我只在家里看到这个：

和

我试过执行（在另一个终端）

但此时，我无法遵循任何指南（执行 hadoop、hbase 等）。

我想在亚马逊实例上使用 whirr 启动一个实例。但是当我尝试使用标准化的 whirr 命令启动一个集群时，它在我的 hadoop 集群名称之后的某个目录名称中搜索为不存在的“myclutster”。有人可以帮忙吗没有这个？

我是 Whirr 的新手，我正在尝试使用 Whirr 在 EC2 上设置 Hadoop 集群，我已按照 Cloudera 上的教程https://ccp.cloudera.com/display/CDHDOC/Whirr+Installation

在安装 Whirr 之前，我先安装 Hadoop (0.20.2-cdh3u3)，然后安装 Whirr (0.5.0-cdh3u3)。

这是我的集群配置文件

集群启动看起来正常

我还按照 Cloudera 教程启动了代理并更新了本地 Hadoop 配置，但是当我尝试使用hadoop fs -ls /

终端打印连接错误：

在代理终端

namenode webUI（50070端口也不可用），我可以ssh到namenode但在namenode内部，看起来没有安装Hadoop或Java，这很奇怪吗？

我们如何使用 whirr 控制安装在 ec2 上的 hadoop 版本。我可以看到我们有以下两行是配置文件

whirr.hadoop-install-function=install_cdh_hadoop whirr.hadoop-configure-function=configure_cdh_hadoop

但是我们如何控制要安装的版本呢？

CDH3 还是 CDH4？

另外，MVR1 还是 MVR2？

使用此命令安装 Whirr 时：

mvn 干净安装

发生此错误：

无法在项目 whirr-core 上执行目标：无法解析项目 org.apache.whirr:whirr-core:jar:0.1.0+23 的依赖项：无法解析以下工件：com.google.code.guice： guice:jar:2.1-r1201, javax.inject:inject:jar:1.0: 在http://jclouds.googlecode.com/svn/repo中找不到 com.google.code.guice:guice:jar:2.1-r1201已缓存在本地存储库中，直到 jclouds 的更新间隔已过或强制更新后才会重新尝试解析 -> [帮助 1]

如何解决此错误？谢谢！

我目前正在学习 Jeffery Breen 的教程。当我想用 Whirr 启动一个 ec2 集群时遇到了一些麻烦。我使用 cloudera 演示 vm cdh3u4。

我下载了 whirr 的 0.8.1 版本。

以下是我运行的所有命令：

然后有人问我应该将密钥保存在哪个文件中，然后我输入：hadoop-ec2

...这是问题所在：没有启动任何实例！我收到以下消息：

接下来我将属性文件直接链接到 Jeffrey Breen 在他的教程中发布的文件，然后我得到了以下内容：

这是朝着正确方向迈出的一步吗？如果是，我该怎么做才能奏效？

我是一个非常初学者，所以我真的很感谢你的帮助，如果可能的话，尽可能“清楚”，因为我 - 正如我所说 - 一个初学者。

下一步将是运行此命令：

我真的希望在这里找到一些帮助，以便我可以继续学习本教程。

Whirr 配置文件：

我有一些由 Oracle JDK 7 编译的 map-reduce 程序。我正在尝试使用 whirr 0.8.1 来设置 EC2 集群来运行它们。但是 whirr 0.8.1 安装的默认 JDK 似乎是 Open JDK 6，我在运行它们时遇到了以下错误：

不支持的 major.minor 版本 51.0

因此，我尝试通过设置来指定 whirr 的 JDK 版本：

whirr.java.install-function = install_oracle_jdk7

但这会导致安装过程失败，尝试修改如下脚本似乎没什么用：

whirr-0.8.1\core\src\main\resources\functions\install_oracle_jdk7.sh

有谁知道如何通过 whirr 在 EC2 集群上安装 JDK 7？

非常感谢拉维。您页面中提到的以下信息是我错过的关键部分：

...我发现可以在 whirr 安装目录中创建一个函数目录，并将所有修改后的 shell 脚本放在那里...

我尝试将修改后的 install_oracle_jdk7.sh 放到 whirr-0.8.1\functions 中，这确实有效。以下是我在 install_oracle_jdk7.sh 中的修改：

(delete)
url=http://download.oracle.com/otn-pub/java/jdk/7/jdk-7-linux-i586.tar.gz
if [ "x86_64" == "$arch" ]; then
url=http://download.oracle.com/otn-pub/java/jdk/7/jdk-7-linux-x64.tar.gz
fi
(add)
url=http://download.oracle.com/otn-pub/java/jdk/7u9-b05/jdk-7u9-linux-i586.tar.gz
if [ "x86_64" == "$arch" ]; then
url=http://download.oracle.com/otn-pub/java/jdk/7u9-b05/jdk-7u9-linux-x64.tar.gz
fi
(delete)
curl $url -L --silent --show-error --fail --connect-timeout 60 --max-time 600 --retry 5 -o $tmpdir/`basename $url`
(add)
wget -c --no-cookies --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F" $url --output-document=$tmpdir/`basename $url`

我正在尝试启动一组自定义 AMI 映像。AMI 映像只是来自安装了 Java 的亚马逊免费套餐选择的 Ubunutu 12.04 服务器映像（我实际上想用 numpy 和 scipy 创建 AMI）。事实上，我是通过启动 Ubuntu 12.04 实例来创建该映像的，该实例使用 whirr 和 noop 作为角色。然后我安装了 Java，并在 AWS 在线控制台中选择了 Create Image (EBS AMI)。我正在使用与启动原始 ubuntu 服务器相同的 whirr 配方脚本，仅更改了图像 ID。

Whirr 启动图像，它显示在控制台中。然后它尝试为 noop 运行 InitScript，但没有任何反应。10分钟后，由于脚本运行时间过长而引发异常。whirr.log 包含记录

我在其中一个教程中看到了这个错误，建议的解决方案是添加行

whirr.bootstrap-user=ec2-user

让 JCloud 知道用户名。我知道这是正确的用户名，并且默认使用。添加该行后，whirr.log 显示身份验证错误，公钥有问题。最后，当我使用 'ubuntu' 作为用户时，错误是 Dying 因为 - java.net.SocketTimeoutException: Read timed out

这是我用来启动集群的文件

我使用 Apache Whirr 在 ec2 上设置了一个 hbase/hadoop 集群，但是当我 ssh 进入 namenode（hbase master）并运行时$JAVA_HOME/bin/jps，我看到的只是 jps，没有提到 hbase 或 namenode。但是，它们正在运行，因为我能够与它们一起工作。对此有何解释？

按照快速入门指南http://whirr.apache.org/docs/0.8.1/quick-start-guide.html的示例，我想启动一个 whirr hadoop 集群。不幸的是，我在这里遇到了与此条目相同的错误Whirr: Cannot connect to Hadoop cluster on EC2 after lauch-cluster。我在启动集群的输出中看到下载 hadoop 时似乎已经存在一些问题。有任何想法吗？谢谢！

bin/whirr launch-cluster --config ~/.whirr/hadoop.propertiesRunning on provider aws-ec2 using identity AKIAJUS7X6OK3HC3SJMQ Bootstrapping cluster 为 bootstrap-hadoop-datanode_hadoop-tasktracker 配置模板 为 bootstrap-hadoop-jobtracker_hadoop-namenode 配置模板 启动 1 个节点(s) 具有角色 [hadoop-datanode, hadoop-tasktracker] 启动 1 个具有角色 [hadoop-jobtracker, hadoop-namenode] 的节点

在节点（us-east-1/i-6343df03）上运行 InitScript{INSTANCE_NAME=bootstrap-hadoop-jobtracker_hadoop-namenode} 在节点上运行 InitScript{INSTANCE_NAME=bootstrap-hadoop-datanode_hadoop-tasktracker}（us-east-1/i- 6143df01)

<< 在节点（us-east-1/i-6143df01）上运行 InitScript{INSTANCE_NAME=bootstrap-hadoop-datanode_hadoop-tasktracker} 时出错：{output=此函数什么都不做。它只需要存在，因此 Statements.call("retry_helpers") 不会调用不存在的东西 .... .... 无法下载 http://apache.osuosl.org/hadoop/common/hadoop -1.0.4/ hadoop- 1.0.4.tar.gz.md5。继续。hadoop-1.0.4.tar.gz 下载失败。中止。，错误=dpkg-preconfigure：无法重新打开标准输入：