java - Hadoop 中的动态节点

Question

Hadoop启动后是否可以添加新节点？我知道您可以删除节点（因为主节点倾向于密切关注节点状态）。

Answer 1

您可以通过使用适当的 hadoop-site.xml（指向主 namenode 和 jobtracker 的那个）启动一个新节点来添加新节点。

也就是说，如果不重新平衡您的 hdfs 文件块以防止删除给定块的所有重复项，则删除节点是一个非常糟糕的主意。

如果您删除三个数据节点，您可能会丢失给定块的所有重复项（默认复制为 3），从而损坏该块所属的文件。删除两个节点可能会留下一个副本，并且它可能已损坏（已知会发生在即将死去的磁盘上）。

Answer 2

我认为只要您不将它们用作数据节点，您就不会遇到问题……当然，那时hadoop的数据局部性方面已经消失了。