Mongo DB的map reduce框架中是否有任何类似于Combiner(如Hadoop Map Reduce)的东西。我们正在 Mongo DB 集群中尝试 map reduce 框架,并且有几行用于一个键,在发送到 reduce 阶段之前可能会组合这些行。
1 billion records which I'm going to map-reduce
Each record is 100 bytes
100 records with same key (map) on each node
网络黑白不会成为这种操作的瓶颈吗?我知道这会导致大量发射,如果每个节点上都有一个迷你减速器(比如组合器)阶段,这可以避免,还是我的理解不正确?
是否有任何接近 Hadoop Map reduce 的组合器阶段的事情,或者如果没有,是否有任何类似的计划用于以后的版本?