python - 通过 parse 命令使用爬虫时如何在 Scrapy 中使用管道

Question

scrapy parse --spider=$spider -c parse_thread -d 100 --nolog $url

有没有办法为使用 parse 命令处理的项目启用管道？

Answer 1

如果您使用该crawl命令，它将使用您的设置中指定的管道，并且您可以将 url 添加到start_urls属性中，或者，如果您想获取这些 url 以回调特定函数，您可以start_requests在那里手动覆盖并发出您的请求：

def start_requests(self):
    yield Request(url1, callback=self.my_callback)
    yield Request(url2, callback=self.my_callback)