我正在尝试全面了解我在数据库(mySQL)中的爬网情况。
所以我需要任何errback
东西来记录到数据库中。
是否可以传递errback
到管道?我目前的设置如下:
响应 ->(项目)-> 管道
当管道启动时,它会为该爬网创建一个条目(通过open_spider
)。然后将该条目的表 ID 作为变量存储在管道中。这就是为什么我无法errback
通过蜘蛛本身记录。
或者有没有办法将crawl_id
ID 从管道传递到蜘蛛errback
?
我正在尝试全面了解我在数据库(mySQL)中的爬网情况。
所以我需要任何errback
东西来记录到数据库中。
是否可以传递errback
到管道?我目前的设置如下:
响应 ->(项目)-> 管道
当管道启动时,它会为该爬网创建一个条目(通过open_spider
)。然后将该条目的表 ID 作为变量存储在管道中。这就是为什么我无法errback
通过蜘蛛本身记录。
或者有没有办法将crawl_id
ID 从管道传递到蜘蛛errback
?