hadoop - 如何在hadoop中按值对字数进行排序？

Question

嗨，我想学习如何在 hadoop 中按值对字数进行排序。我知道 hadoop 采用排序键，但不是按值。

我知道要对值进行排序，我们必须有一个分区器、分组比较器和一个排序比较器

但是我在将这些概念一起应用以按值对字数进行排序时有点困惑。

我们是否需要另一个 map reduce 作业来实现相同的目的，或者需要一个组合器来计算出现次数，然后在这里排序并将相同的结果发送到 reducer？

谁能解释如何按值对字数示例进行排序？

Answer 1

您需要进行第二个 mapreduce 作业。除非您根据总计数（第一个 MR 工作所做的）得出结论，否则您怎么能想到按值排序（单词的计数）？逻辑上不可能。

Answer 2

这称为二次排序。有关详细信息，请参阅此和此。