我正计划建立一个 hadoop/hbase 集群,并试图弄清楚要使用什么 ec2 实例类型以及多少 EBS 空间。
我最初会去
- 1 个主(m1.small)
- 2个奴隶(m1.small)
我不希望我的网站上同时有超过 100 个用户(这不是很大吗?)
好吧,我会为每个主服务器和从服务器附加 20 GB EBS 块。这些 EBS 块将包含来自 HDFS 和 HBase 的数据存储和日志。
hbase 的路径应该看起来像(例如)将被挂载的目录在/mnt/hadoop/hbase/root
哪里/mnt/hadoop
EBS block
/dev/sda
最终,这个空间将被填满,当我意识到少了 20 GB 时,我会创建一个 60 GB ( /dev/sdb
) 让我们说并将其附加到磁盘上。现在,我将复制所有内容 from /dev/sda
to/dev/sdb
最后 mount /dev/sdb
to/mnt/hadoop
在此更改之后,HDFS/HBase 有什么不同吗?这样做是否合法或不鼓励?
我们如何增加 HBase/HDFS 写入数据的设备的存储空间?