configuration - 以编程方式设置 hadoop 作业配置

Question

我正在为减少子级获取 OOM 异常（Java 堆空间）。我在文档中读到将值mapred.reduce.child.java.opts增加到 -Xmx512M 或更多会有所帮助。由于我不是管理员，因此我无法更改 mapred-site.xml 中的该值。我想通过 java 程序仅为我的工作设置该值。我尝试使用Configuration如下的类设置它，但这不起作用。

Configuration config = new Configuration(); config.set("mapred.reduce.child.java.opts", "-Xmx512M"); JobConf conf1 = new JobConf(config, this.getClass());

Hadoop的版本是1.0.3

以编程方式设置配置值的正确方法是什么？

Answer 1

正如@ThomasJungblut 和@octo 所指出的，我在问题中提到的程序是正确的做法。OOM 异常仍然存在，所以我会开始一个新线程而不是继续在这里。