当您使用scrapyd安排运行时，有没有办法获取运行的蜘蛛实例？我需要访问蜘蛛中的属性以在运行之外进行处理，并且不能使用 json/csv 文件来执行此操作。
问问题
148 次
我在这里找到了我需要的东西：在蜘蛛关闭之前使用该spider_close方法运行我需要的代码。
您需要将以下内容添加到管道的__init__方法中（否则它永远不会收到spider_closed信号）：
dispatcher.connect(self.spider_opened, signals.spider_opened)
dispatcher.connect(self.spider_closed, signals.spider_closed)