2

以下 3 个设置减少数量的选项的优先级是什么？换句话说，如果三个都设置了，会考虑哪一个？

选项1：

setNumReduceTasks(2) within the application code

选项2： 

-D mapreduce.job.reduces=2 as command line argument

选项3： 

through $HADOOP_CONF_DIR/mapred-site.xml file

 <property>
  <name>mapreduce.job.reduces</name>
  <value>2</value>
 </property>
4

3 回答 3

4

根据Hadoop - The Definitive Guide

-D 选项用于将带有键颜色的配置属性设置为值黄色。使用 -D 指定的选项优先于配置文件中的属性。这非常有用，因为您可以将默认值放入配置文件，然后根据需要使用 -D 选项覆盖它们。一个常见的例子是通过 -D mapred.reduce.tasks=n 设置 MapReduce 作业的 reducer 数量。这将覆盖在集群上设置或在任何客户端配置文件中设置的减速器数量。

于 2013-12-20T10:49:19.900 回答
2

您让它们按优先顺序排列 - 选项 1 将覆盖 2，而 2 将覆盖 3。换句话说，选项 1 将是您的工作在这种情况下使用的选项

于 2013-12-20T12:35:23.990 回答
0

第一优先：通过命令行传递配置参数（同时提交MR应用）

第二优先：在应用程序代码中设置配置参数

第三优先级：它将从多个xml文件中读取默认参数，例如core-site.xml、hadoop-env.sh、hdfs-site.xml、log4j.properties和mapred-site.xml

于 2016-01-27T06:20:40.257 回答