python - PyMongo 不能与 Scrapy 一起正常工作

Question

我的 Scrapy 解析器使用 PyMongo 作为将项目写入 MongoDB 的驱动程序。为了生成请求，解析器从数据库中获取所有记录并通过以下方式生成：

...

for link in db.links.find():
    yield Request(...)

...

问题是，从 800+k 条记录中，它只经过大约 6-8k 条记录。如何迭代所有 800+k 条记录？