hadoop - 如何更改每个作业的 io.sort.mb？

Question

我想知道是否可以更改每个作业的 io.sort.mb 的值？我知道您可以在 mapred-site.xml 中为参数设置一个值，但我想以编程方式在不同的作业中使用不同的值。我试过 conf.setInt("io.sort.mb", someValue) 但它似乎不起作用。JVM 设置有足够的内存（如 2.25GB）并且没有其他作业在运行。

Answer 1

当然，只需在提交之前将其设置在Configuration（在早期版本中）。JobConf它确实有效；我在 Mahout 中使用过它。确保在设置值之后和提交之前设置conf到您的值。Job确保你也设置正确conf！也许你可以说你怎么知道它不起作用。