recursion - 具有多个输出的 Hadoop MapReduce 递归？

Question

嗨，我有 map reduce 程序，它在每个递归步骤中都输出 reducer。但我还需要在每次递归中输出另一个结果。

input1--->Map1-->Reduce1--> output1 和 output11

output1--->Map2-->Reduce2--> output2 和 output22

output2--->Map3-->Reduce3--> output3 和 output33

output3--->Map4-->Reduce4--> output4 和 output44

作为我需要的最终输出：output11、output22、output33、output44 和 output4

像这样，每个步骤都有 2 个输出文件，其中 1 个进入下一次迭代，另一个进入输出。

我正在使用 SequenceFileAsTextInputFormat 。

任何帮助谢谢

score 0 · Accepted Answer

You can have a map reduce job for each recursive step, and use the output file of 1 recursive step for the next map reduce job

1 回答 1