scrapy - 使用带有splash的scrapy shell返回空值

Question

我正在抓取这个网站：http ://www.germandeli.com/Meats/Sausages ，其中包含一些动态内容。

我正在使用带有splash的scrapy shell来渲染javascript，但它返回空值[]。我的系统是 Ubuntu 14.04 LTS。

这是我使用的代码：

$ scrapy shell 'http://localhost:8050/render.html?url=http://www.germandeli.com/Meats/Sausages'
>>> response.xpath('*//h2[@class="item-cell-name"]/a/@href').extract()

任何提示将不胜感激！

Answer 1

我想到了。我忘了在链接末尾添加“&timeout=10&wait=5”！

scrapy shell 'http://localhost:8050/render.html?url=http://www.germandeli.com/Meats/Sausages&timeout=10&wait=5'