0

我们计划在我们的 Hadoop 集群中添加两个新的数据节点。谷歌搜索一天后，我仍然无法回答这个问题：如果新数据节点上的硬盘驱动器更小会怎样？这会导致 HDFS 的总大小变小吗？

这是一个例子

Datanode1 with 1TB
Datanode2 with 1TB
Total storage = 2TB

添加一个具有 500GB 磁盘的节点

Datanode3 with 500GB

HDFS 的总存储量是多少？2.5TB 还是 1.5TB？

如果它将是 2.5TB（我希望如此），hadoop 如何平衡具有不同硬盘驱动器的不同数据节点周围的存储？

4

1 回答 1

1

HDFS 总容量为 2.5 TB。现有块将按原样存在，一旦添加到集群中，就不会移动到新节点。要将一些块从过载节点移动到负载不足的节点，请使用 Hadoop 安装中的bin/start-balancer.sh和bin/stop-balancer-sh脚本。

块放置策略将确定时钟的去向。由于新节点 HDD 是空的，因此放入 HDFS 的新文件块更有可能到达那里。

于 2013-10-09T18:27:10.753 回答