0

我正在尝试全面了解我在数据库(mySQL)中的爬网情况。

所以我需要任何errback东西来记录到数据库中。

是否可以传递errback到管道?我目前的设置如下:

响应 ->(项目)-> 管道

当管道启动时,它会为该爬网创建一个条目(通过open_spider)。然后将该条目的表 ID 作为变量存储在管道中。这就是为什么我无法errback通过蜘蛛本身记录。

或者有没有办法将crawl_idID 从管道传递到蜘蛛errback

4

0 回答 0