hadoop - map 函数中的更新计数器和 reduce 中的访问

Question

我正在使用 Hadoop 管道。我想在 map 中使用应该可以在 reduce 函数中访问的计数器。
可能吗？

Answer 1

不，在同一个工作中是不可能的。但是，您可以有一个没有减速器的作业，收集您想要计算的任何计数器信息，然后开始第二个作业，在作业配置对象中添加这些计数值，然后第二个作业的减速器可以访问这些值.

编辑：

这是一个代码示例：

enum COUNTERS {C1; C2;}

class DriverCode
{
  Configuration conf = new Configuration();
  //the Mapper increases C1
  Job job1 = new Job(conf, "Job1"); 
  job1.setJarByClass(MyJar.class);
  job1.setMapperClass(MyMapper1.class); 
  ...

  //read out C1 
  long c1 = job.getCounters().findCounter(COUNTERS.C1).getValue();

  //set it for the new job
  conf.setLong("c1",c1);
  Job job2 = new Job(conf, "Job2"); 
  //and now you can access this configuration object in your second job
  job2.setJarByClass(MyJar.class); 
  job2.setMapperClass(MyMapper2.class);
  ...
}