我正在抓取电子商务网站，并抓取了多个类别，但其中一些会产生结果，但有些链接会出现错误：蜘蛛错误处理...请帮助我如何对其进行排序...
1 回答
0
根据您来自控制台的错误数据，带有 p 参数的 url 上发生错误?p=2- 这意味着您的刮板不处理特定搜索的第二页。
看起来您的应用程序不会将元数据传输到下一个请求。
parse_products你的蜘蛛方法需要元数据parse方法。
我想您parse_products负责搜索结果分页的代码如下所示：
yield Request(next_url,callback=self.parse_products)
如果它是真的，您的应用程序将无法读取元数据并引发错误，例如从您的控制台。
在这种情况下，您需要在方法中向 nextpage 请求添加元参数parse_products：
yield Request(next_url, meta = response.meta,callback=self.parse_products)
于 2019-04-23T06:36:39.433 回答