更新更新:
解决了!请参阅: MongoDB:无法使用游标遍历所有数据(因为数据已损坏)
它是由损坏的数据集引起的。不是 MongoDB 或驱动程序。
==================================================== ========================
我正在使用 MongoDB(2.4.6) 的最新 Java 驱动程序(2.11.3)。我有一个包含约 250M 记录的集合,我想使用游标来遍历所有记录。但是,大约 10 分钟后,我得到了一个错误的 cursor.hasNext(),或者说服务器上不存在游标的异常。
之后我了解了游标超时并用 try/catch 包装了我的 cursor.next()。如果有任何异常,或者 hasNext() 在遍历所有记录之前返回 false,程序将关闭游标并分配一个新游标,然后直接跳回上下文。
但后来我读到了 cursor.skip() 性能问题......并且程序刚刚达到约 20M 记录,并且 cursor.skip() 抛出“java.util.NoSuchElementException”之后的 cursor.next()。我相信那是因为跳过操作已经超时,这使光标无效。
是的,我已经阅读了有关 skip() 性能问题和光标超时问题的信息……但现在我认为我处于两难境地,修复一个会破坏另一个。
那么,有没有办法优雅地遍历庞大数据集中的所有数据?
@mnemosyn 已经指出我必须依赖基于范围的查询。但问题是我想把所有的数据分成16个部分在不同的机器上处理,而且数据在任何单调键空间内都不是均匀分布的。如果需要负载平衡,则必须有一种方法来计算特定范围内有多少键并对其进行平衡。我的目标是将它们分成 16 个部分,因此我必须找到键的四分位数(抱歉,我不知道是否有数学术语)并使用它们来拆分数据。
有没有办法做到这一点?
当通过获取分区边界键实现第一次搜索时,我确实有一些想法。如果新光标再次超时,我可以简单地记录最新的 tweetID 并使用新范围跳回。但是,范围查询应该足够快,否则我仍然会超时。我对这个没有信心...
更新:
问题解决了!我没有意识到我不必以大块的方式对数据进行分区。循环作业调度员会做。请参阅已接受答案中的评论。