2

hadoop 中的 map 任务处理输入文件的 64/128 MB 拆分。它从输入拆分的第一行开始处理直到结束。我需要了解如何知道地图任务何时完成处理其输入拆分。换句话说，在 shuffle 和 sort 开始之前。hadoop库中有什么方法可以回答我的问题吗？

4

1 回答 1

5

类的cleanup方法Mapper允许您在映射器处理完输入拆分后执行代码，只需以与覆盖方法相同的方式覆盖它map。

如果那不是您所追求的，也许Counter可以解决您的问题？

于 2012-04-26T06:31:11.657 回答