1

我有一个有 9 个节点的 linux 集群，我已经安装了 hadoop 1.0.2。我有一个使用多个从站运行的 GIS 程序。我需要使用 1、2、3、4 .. 8 个从节点来测量我的程序的 speedUp。一旦我通过改变从属设备的数量在 conf/slaves 文件中进行了更改，我就使用 start-all.sh/stop-all.sh 脚本来启动/停止我的集群。但是这样做时我遇到了奇怪的错误，感觉我没有使用正确的技术来添加/删除集群中的从节点。

任何有关“更改从属文件和重新启动集群的技术”的理想帮助将不胜感激。

4

1 回答 1

1

问题可能是您不允许 Hadoop 从系统中正常删除节点。

您要做的是停用节点，以便 HDFS 有时间在其他地方重新复制文件。该过程本质上是将一些节点添加到excludes文件中。然后，您运行bin/hadoop dfsadmin -refreshNodes，它会读取配置并刷新集群的节点视图。

在添加节点时，甚至可能在删除节点时，您应该考虑运行rebalancer。这将使数据均匀分布，并有助于提高一些性能，如果新节点没有任何数据，您可能会看到。

于 2012-04-28T13:01:40.207 回答