我将未确定数量的 map reduce 作业链接在一起，用于并行 BFS 最短路径算法，当无法确定路径时，我的作业将无限循环而不产生任何记录。我认为检查这一点的最佳方法是获取由 hadoop 维护的 Map Output Bytes 计数器。
我怎样才能进入这个柜台？
问问题
855 次
1 回答
2
要获取作业生成的地图输出字节计数器，请使用
long outputBytes = job.getCounters().findCounter("org.apache.hadoop.mapred.Task$Counter", "MAP_OUTPUT_BYTES").getValue();
有关更多计数器组和名称，请参阅http://lintool.github.io/Cloud9/docs/content/counters.html
于 2013-09-25T03:10:27.060 回答