我正在使用需要启用烹饪和 java 脚本的 Scrapy 抓取网站。我认为我不必实际处理 javascript。我所需要的只是假装好像启用了 javascript。
这是我尝试过的:1)通过以下设置启用Cookie
COOKIES_ENABLED = True
COOKIES_DEBUG = True
2) 使用 cookie 下载中间件
DOWNLOADER_MIDDLEWARES = {
'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': 400,
'scrapy.contrib.downloadermiddleware.cookies.CookiesMiddleware':700
}
3) 发送 'X-JAVASCRIPT-ENABLED': 'True'
DEFAULT_REQUEST_HEADERS={
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'en',
'X-JAVASCRIPT-ENABLED': 'True'
}
但他们都没有和我一起工作。你能提出任何想法或给我一些方向吗?
提前感谢您的回复。