4

更新更新:

解决了!请参阅: MongoDB:无法使用游标遍历所有数据(因为数据已损坏)

它是由损坏的数据集引起的。不是 MongoDB 或驱动程序。

==================================================== ========================

我正在使用 MongoDB(2.4.6) 的最新 Java 驱动程序(2.11.3)。我有一个包含约 250M 记录的集合,我想使用游标来遍历所有记录。但是,大约 10 分钟后,我得到了一个错误的 cursor.hasNext(),或者说服务器上不存在游标的异常。

之后我了解了游标超时并用 try/catch 包装了我的 cursor.next()。如果有任何异常,或者 hasNext() 在遍历所有记录之前返回 false,程序将关闭游标并分配一个新游标,然后直接跳回上下文。

但后来我读到了 cursor.skip() 性能问题......并且程序刚刚达到约 20M 记录,并且 cursor.skip() 抛出“java.util.NoSuchElementException”之后的 cursor.next()。我相信那是因为跳过操作已经超时,这使光标无效。

是的,我已经阅读了有关 skip() 性能问题和光标超时问题的信息……但现在我认为我处于两难境地,修复一个会破坏另一个。

那么,有没有办法优雅地遍历庞大数据集中的所有数据?

@mnemosyn 已经指出我必须依赖基于范围的查询。但问题是我想把所有的数据分成16个部分在不同的机器上处理,而且数据在任何单调键空间内都不是均匀分布的。如果需要负载平衡,则必须有一种方法来计算特定范围内有多少键并对其进行平衡。我的目标是将它们分成 16 个部分,因此我必须找到键的四分位数(抱歉,我不知道是否有数学术语)并使用它们来拆分数据。

有没有办法做到这一点?

当通过获取分区边界键实现第一次搜索时,我确实有一些想法。如果新光标再次超时,我可以简单地记录最新的 tweetID 并使用新范围跳回。但是,范围查询应该足够快,否则我仍然会超时。我对这个没有信心...

更新:

问题解决了!我没有意识到我不必以大块的方式对数据进行分区。循环作业调度员会做。请参阅已接受答案中的评论。

4

1 回答 1

1

一般来说,是的。如果你有一个单调的字段,理想情况下是一个索引字段,你可以简单地沿着它走。例如,如果您使用类型的字段ObjectId作为主键,或者如果您有 aCreatedDate或其他东西,您可以简单地使用$lt查询,获取固定数量的元素,然后使用$lt最小的_idCreatedDate您在前一批中遇到的再次查询.

小心严格的单调行为与非严格的单调行为:$lte如果键不严格,您可能必须使用,然后防止对受骗者执行两次操作。由于_id场是唯一的,ObjectIds总是严格单调的。

如果你没有这样的钥匙,事情就有点棘手了。您仍然可以“沿着索引”进行迭代(无论是什么索引,可以是名称、哈希、UUID、Guid 等)。这同样有效,但很难做快照,因为你永远不知道你刚刚找到的结果是否在你开始遍历之前被插入。此外,当在遍历开始时插入文档时,这些文档将被遗漏。

于 2013-10-28T09:31:48.450 回答