4

在下面的 hadoop 常见问题解答中:

http://wiki.apache.org/hadoop/FAQ#On_an_individual_data_node.2C_how_do_you_balance_the_blocks_on_the_disk.3F

他们确实为单个数据节点不平衡提供了解决方案。但我仍然有疑问。

假设我有 2 个磁盘:“/disk1”和“/disk2”。在每个磁盘中,有数据目录“./data”。所以有 2 个数据目录“/disk1/data”和“/disk2/data” .这是问题:

我可以将“/disk1/data/current”中的块和元对移动到“/disk2/data/current/”吗?

4

2 回答 2

2

是的,您可以在磁盘之间安全地移动块对(blk_X 数据文件和 blk_X_*.meta CRC 文件)(在任何磁盘中的父current/或正确Block-Pool IDcurrent/目录下),但请确保特定的 DataNode 已关闭在此操作时。

您还可以毫无顾虑地将整个子目录(您会发现它们命名为subdirX(X 是生成的数字)从磁盘移动到磁盘,并将块从任何子目录移动到任何其他子目录 - 无需担心路径的粘性,只要数据节点已关闭。

于 2012-12-30T20:42:27.990 回答
1

将成为带有 Hadoop 3 的 HDFS 的一部分:

于 2016-03-31T23:47:33.587 回答