2

我想在 Amazon EC2 中测试 Hadoop 和 HBase，但我不确定它有多复杂。是否有安装了 Hadoop 和 HBase 的稳定社区 AMI？我正在考虑类似生物导体 AMI

谢谢你。

4

2 回答 2

3

我强烈推荐使用Amazon 的 Elastic MapReduce服务，特别是如果您已经拥有 AWS/EC2 账户。原因是：

  1. EMR 带有一个“开箱即用”的工作 Hadoop/HBase 集群 - 您无需调整任何内容即可使 Hadoop/HBase 正常工作。它只是工作（TM）。
  2. Amazon EC2 的网络与您可能习惯的完全不同。AFAIK，它有一个 1 对 1 的 NAT，节点可以在其中看到自己的私有 IP 地址，但它通过公共 IP 连接到外部世界。当您手动构建集群时，这会导致问题 - 即使使用专门用于 EC2 的 Apache Whirr 或 BigTop 等软件。
  3. 单独的 AMI 不可能帮助您启动和运行 Hadoop 或 HBase 集群 - 如果您想运行 Hadoop/HBase 集群，您可能需要花时间调整网络设置等。
于 2013-01-16T23:28:39.550 回答
1

据我所知，没有，但您应该能够使用Apache Whirr轻松部署在 EC2 上，这是一个非常好的替代方案。

这是使用 Whirr 执行此操作的一个很好的教程，因为教程说您应该能够在几分钟内完成此操作！

关键是创建这样的配方：

whirr.cluster-name=hbase
whirr.instance-templates=1 zk+nn+jt+hbase-master,5 dn+tt+hbase-regionserver
whirr.provider=ec2
whirr.identity=${env:AWS_ACCESS_KEY_ID}
whirr.credential=${env:AWS_SECRET_ACCESS_KEY}
whirr.hardware-id=c1.xlarge
whirr.image-id=us-east-1/ami-da0cf8b3
whirr.location-id=us-east-1

然后，您将能够使用以下命令启动集群：

bin/whirr launch-cluster --config hbase-ec2.properties
于 2013-01-15T02:34:45.663 回答