hadoop - hadoop 中的公平调度

Question

在多节点设置（主从）中配置公平调度时，应该在 mapred-site.xml 中为两个节点定义属性还是仅在主节点中定义属性？谢谢。

Answer 1

通常，您不需要在多个位置定义属性。如果需要，Hadoop 会自动将 mapred-site.xml 文件复制到从属服务器。

如果您在本地运行，则HADOOP_CONF_DIR/mapred-site.xml需要进行编辑。

如果您在 Amazon 的 EMR 集群上运行，那么在启动集群本身时，您可以提供此配置文件作为 bootstrap-action，它将被复制到所有节点中。可以使用 cli 完成，如下所示：

ruby elastic-mapreduce --create --alive --plain-output --master-instance-type m1.xlarge --
slave-instance-type m1.xlarge --num-instances 11  --name "Cluster name"  --bootstrap-action 
s3://elasticmapreduce/bootstrap-actions/configure-hadoop --args "--mapred-config-file, 
s3://<path-to-conf>/mapred-site-edited.xml"

所以基本上每个 Hadoop 节点都应该有自己的配置，但您不需要手动将其复制到每个节点。