25

我希望 scrapy 抓取进入下一个链接的页面，如下所示：

<a href="#" onclick="return gotoPage('2');"> Next </a>

scrapy 能够解释其中的 javascript 代码吗？

通过livehttpheaders扩展，我发现单击 Next 会生成一个 POST，其中包含一个非常大的“垃圾”，如下所示：

encoded_session_hidden_map=H4sIAAAAAAAAALWZXWwj1RXHJ9n

我正在尝试在CrawlSpider该类上构建我的蜘蛛，但我无法真正弄清楚如何对其进行编码，BaseSpider我使用该parse()方法来处理第一个 URL，这恰好是一个登录表单，我在其中进行了 POST：

def logon(self, response):
    login_form_data={ 'email': 'user@example.com', 'password': 'mypass22', 'action': 'sign-in' }
    return [FormRequest.from_response(response, formnumber=0, formdata=login_form_data, callback=self.submit_next)]

然后我定义了 submit_next() 来告诉下一步该做什么。我不知道如何告诉 CrawlSpider 在第一个 URL 上使用哪种方法？

我爬的所有请求，除了第一个，都是 POST 请求。他们交替使用两种类型的请求：粘贴一些数据，然后单击“下一步”转到下一页。

4

2 回答 2

3

实际的方法如下：

  1. 发布您的请求以访问该页面（正如您所做的那样）
  2. 从该特定响应中提取指向下一页的链接
  3. 如果可能，简单请求下一页或在适用的情况下再次使用 FormRequest

所有这些都必须通过服务器响应机制进行简化，例如：

  • 您可以尝试dont_click = true使用FormRequest.from_response
  • 或者您可能想要处理来自服务器的重定向（302）（在这种情况下，您必须在元数据中提及您需要将句柄重定向请求也发送到回调。）

现在如何弄清楚： 使用像 fiddler 这样的网络调试器，或者你可以使用 Firefox 插件 FireBug，或者在 IE 9 中直接按 F12；并检查用户在网站上实际发出的请求是否与您抓取网页的方式相匹配。

于 2011-06-21T10:04:37.757 回答
-1

我构建了一个通过 selenium 执行 JS 的快速爬虫。随意复制/修改https://github.com/rickysahu/seleniumjscrawl

于 2014-07-27T13:01:34.843 回答