在下面的 hadoop 常见问题解答中:
他们确实为单个数据节点不平衡提供了解决方案。但我仍然有疑问。
假设我有 2 个磁盘:“/disk1”和“/disk2”。在每个磁盘中,有数据目录“./data”。所以有 2 个数据目录“/disk1/data”和“/disk2/data” .这是问题:
我可以将“/disk1/data/current”中的块和元对移动到“/disk2/data/current/”吗?
在下面的 hadoop 常见问题解答中:
他们确实为单个数据节点不平衡提供了解决方案。但我仍然有疑问。
假设我有 2 个磁盘:“/disk1”和“/disk2”。在每个磁盘中,有数据目录“./data”。所以有 2 个数据目录“/disk1/data”和“/disk2/data” .这是问题:
我可以将“/disk1/data/current”中的块和元对移动到“/disk2/data/current/”吗?
是的,您可以在磁盘之间安全地移动块对(blk_X 数据文件和 blk_X_*.meta CRC 文件)(在任何磁盘中的父current/或正确Block-Pool ID
的current/目录下),但请确保特定的 DataNode 已关闭在此操作时。
您还可以毫无顾虑地将整个子目录(您会发现它们命名为subdirX
(X 是生成的数字)从磁盘移动到磁盘,并将块从任何子目录移动到任何其他子目录 - 无需担心路径的粘性,只要数据节点已关闭。
将成为带有 Hadoop 3 的 HDFS 的一部分: