java - Mongo DB Cursor 问题，同时迭代一个巨大的集合

Question

我正在迭代 Mongo DB 集合。这个集合中有数百万个文档。我正在使用 java API 进行这次迭代。这个迭代练习可以持续一段时间，我们不想影响应用程序的性能。所以我们计划在这次迭代中使用 Thread.sleep。但是我们面临着光标超时之类的问题。有人遇到过这个吗？此外，是否可以一次读取 100 个文档的数据块？

Answer 1

您可以尝试通过 _id 对集合进行分页，而不是在整个集合上使用光标。因此，每次查询 100 个文档（按 _id 排序）并保留您遇到的最后一个 _id。然后在每个连续的查询中使用一个条件来获取文档，其中 _id > last _id 从先前的获取中获取。