hadoop - 在 reducer 的配置方法中调用进度或增加计数器

Question

有可能这样做吗？

上下文：我的 reducer 配置方法需要从 DistributedCache 读取一组文件（总大小约为 150MB）。但是，我不知道为什么 hadoop 需要这么长时间才能杀死一些减速器，尽管事实上有一些减速器已经成功完成。

我使用旧 API，我只能在 configure 方法中访问 JobConf conf 变量。

我的想法是让记者变量成为一个字段，然后我可以在配置方法中调用它。但似乎在调用reduce之前调用了configure。

Answer 1

转换您的代码以使用新的 API！

然后在 中setup()，可以访问context变量并调用progress()如下：

@Override
        protected void setup(Context context) throws IOException, InterruptedException {
context.progress();
}