mongodb - 如何在mongo map reduce函数中处理大型数组数据集

Question

我有一个 map/reduce 作业，它建立一个数组，reduce 执行数组连接。有时，生成的文档似乎达到了最大 bson 大小限制，并且 map reduce 失败并出现“值太大而无法减少”错误。

请让我们知道如何处理这种情况。我想要数组中的所有文档。我无法在数组中连接，因为如果有更多文档，它会因上述错误而失败..

谢谢 MRK

Answer 1

您可以使用 MongoDB Hadoop Adapter 之类的东西在真正的 map/reduce 框架上运行 map reduce 作业。

https://github.com/mongodb/mongo-hadoop/