5

我正在创建一个 CrawlSpider 来抓取产品网站。从第 1 页，我提取了 www.domain.com/color（简化）形式的类别 URL。在类别页面上，我按照第一个链接到产品详细信息页面，解析产品详细信息页面并通过下一个链接爬到下一个链接。因此，每个颜色类别都有一个独特的爬行路径。

困难在于颜色变量不在产品详细信息页面上。我可以通过解析链接从类别页面中提取它，如下所示：

def parse_item(self, response):
        l = XPathItemLoader(item=Greenhouse(), response=response)
        l.default_output_processor = Join()
        l.add_value('color', response.url.split("/")[-1])
        return l.load_item()

但是，我想将此颜色值添加到从产品详细信息页面解析的项目中，以便从特定颜色类别页面开始爬网的产品。产品 url 是通过跟随 Next 链接抓取的，因此在第一个链接之后会丢失参考类别页面。Scrapy 文档中有一些关于 request.meta 的内容，它可以在解析器之间传递数据，但我不确定这是否适用于此。任何帮助，将不胜感激。

我的规则是：

Rule(SgmlLinkExtractor(restrict_xpaths=('//table[@id="ctl18_ctlFacetList_dlFacetList"]/tr[2]/td',)),),
Rule(SgmlLinkExtractor(restrict_xpaths=('//table[@id="ctl18_dlProductList"]/tr[1]/td[@class="ProductListItem"][1]',)),callback='parse_item', follow=True,),
Rule(SgmlLinkExtractor(restrict_xpaths=('//a[@id="ctl18_ctl00_lbNext"]',)),callback='parse_item', follow=True, ),
4

2 回答 2

1

您可以使用process_request规则的参数：

class MySPider(CrawlSpider):
    ...
    rules = [...
        Rule(SgmlLinkExtractor(), process_request='add_color'),
    ]

    def add_color(self, request):
        meta = dict(color=request.url.split("/")[-1])
        return request.replace(meta=meta)
于 2013-04-17T23:10:59.257 回答
0

我会采用Steven 的方法，但要编辑原始请求的元数据：

class MySPider(CrawlSpider):

    rules = [Rule(SgmlLinkExtractor(), process_request='add_color')]

    def add_color(self, request):
        request.meta['color'] = request.url.split("/")[-1]
        return request
于 2019-02-08T15:22:44.330 回答