0

当使用聚合器函数之一代替减速器时,Hadoop 是否足够聪明,可以在合并器阶段使用相同的函数?

4

1 回答 1

0

它们部分实现了相同的目的,但聚合器更通用,可以在组合器不能使用的情况下使用。

所以这是肯定的,聚合器不会自动用作组合器。如果您希望它用作组合器,则必须这样指定它。

从级联中引用,“组合器仅限于关联和交换函数,如'sum'和'max'。为了工作,必须对 Map 任务发出的值进行序列化、排序(反序列化和比较)、再次反序列化和操作于

于 2013-05-16T00:11:00.813 回答