1

Mongo DB的map reduce框架中是否有任何类似于Combiner(如Hadoop Map Reduce)的东西。我们正在 Mongo DB 集群中尝试 map reduce 框架,并且有几行用于一个键,在发送到 reduce 阶段之前可能会组合这些行。

1 billion records which I'm going to map-reduce
Each record is 100 bytes
100 records with same key (map) on each node

网络黑白不会成为这种操作的瓶颈吗?我知道这会导致大量发射,如果每个节点上都有一个迷你减速器(比如组合器)阶段,这可以避免,还是我的理解不正确?

是否有任何接近 Hadoop Map reduce 的组合器阶段的事情,或者如果没有,是否有任何类似的计划用于以后的版本?

4

1 回答 1

1

据我目前所知, Mongo 的 MapReduce 实现中没有组合器阶段。Mongo 实现的 MR 版本与标准版本有所不同;如果你有性能问题,你最好使用 Hadoop。

Here you have another SO question讨论Mongo MR和Hadoop之间的区别。

于 2013-05-15T10:59:29.357 回答