0

如果有人可以帮助我找出我的配置出了什么问题，我们将不胜感激。

我想增加 io.sort.mb 的值，因此我在 core-site.xml 中添加了以下属性。io.sort.mb 350m

我在下面附上的运行时信息清楚地表明 io.sort.mb 的值没有改变，而是保留了默认值 io.sort.mb = 100。

13/08/15 16:43:34 INFO mapred.Task:  Using ResourceCalculatorPlugin : org.apache.hadoop.util.LinuxResourceCalculatorPlugin@1e5e96c1
13/08/15 16:43:34 INFO mapred.MapTask: numReduceTasks: 1
13/08/15 16:43:34 INFO mapred.MapTask: **io.sort.mb = 100**
13/08/15 16:43:34 INFO mapred.MapTask: data buffer = 79691776/99614720
13/08/15 16:43:34 INFO mapred.MapTask: record buffer = 262144/327680
13/08/15 16:43:34 INFO mapred.MapTask: Starting flush of map output
13/08/15 16:43:34 INFO mapred.MapTask: Finished spill 0
13/08/15 16:43:34 INFO mapred.Task: Task:attempt_local_0001_m_004609_0 is done. And is in the process of commiting

由于它不起作用，我在 mapred-site.xml 模式中添加了该属性，但是我得到了与上面相同的结果。

谁能建议我该怎么做？

提前谢谢你。

哈克

4

2 回答 2

1

根据这里的文章io.sort.mb 应该是 10 * io.sort.factor 如果你有内存。
“核心站点.xml”

<property>
<name>io.sort.factor</name>
<value>100</value>
<description>More streams merged at once while sorting files.</description>
</property>  

<property>
<name>io.sort.mb</name>
<value>200</value>
<description>Higher memory-limit while sorting data.</description>
</property>

尝试在所有节点上更改排序因子。

于 2013-08-16T06:53:53.110 回答
0

这个 conf 应该在 mapred-site.xml 而不是 core-site.xml

参考：http ://hadoop.apache.org/docs/r1.0.4/mapred-default.html

于 2014-04-10T02:37:37.757 回答