python-3.x - Aliexpress.com Scrapy Crawler localStorage.x5referer

Question

我需要爬取与我的搜索关键字输入相关的速卖通搜索结果数据。

在我的 Scrapy 代码示例下方。我在日志文件中有 localStorage.x5referer 脚本。也许我需要处理一些饼干的事情。

# -*- coding: utf-8 -*-
import scrapy

class AliexpresSpider(scrapy.Spider):
    name = 'aliexpres'
    allowed_domains = ['aliexpress.com']
    start_urls = ['https://tr.aliexpress.com/af/sehpa.html?SearchText=sehpa']



    def parse(self,response):
        print(response.text)
        # srplists = response.css('ul.list-items')
        # for item in srplists.css('li.list-item'):
        #      title = item.css('div.item-title-wrap::text').get()
        #      price = item.css('div.item-price-wrap > span.price-big-sale::text').get()
        #      url = item.css('a ::attr(href)').get()
        #      yield {'title':title,'price':price,'url':url}

Answer 1

关于该主题的任何发现？我在那里遇到了同样的问题。