有没有办法从管道中关闭爬虫？我的管道处理 url 并将它们添加到列表中。当列表达到指定数量时，我想关闭爬虫。我知道，raise CloseSpider()但它似乎只在从蜘蛛调用时才有效。
问问题
479 次
1 回答
2
是的，有可能。您可以调用 Crawler.engine.close_spider(spider_name, reason)。
CloseSpider 扩展中有一个例子
于 2012-11-06T23:49:18.847 回答