0

我正在使用 Scrapy 一个月。我能够根据管道中给出的关键字抓取和抓取多个网站（事实上我已经抓取了 900 个网站）。现在，问题是当我们遇到 javapages（ajax）时，scrapy 不会抓取。我正在尝试使用以下代码selenium 代码来使用 scrapy 抓取 ajax 页面并进行适当的更改以抓取 ajax 页面

你们对使用scrapy抓取javapages有什么好主意吗

第二个问题，我面临的是scrapy没有抓取登录页面

4

1 回答 1

0

首先监听已经使用ajax发送的Request（为此使用fiddler或firefox firebug），然后在scrapy中发出类似的Request，它会带来响应。

我无法理解“scrapy 不会抓取登录页面”是什么意思：这是否意味着您不能废弃需要您登录的页面或登录页面本身

于 2013-06-20T09:37:12.713 回答