1

我有一项任务,我需要向网站提交表单,但他们不提供任何 API。我目前正在使用 webdriver 并且由于我的代码和浏览器之间的异步性质而面临许多问题。我正在寻找一个轻量级的可靠库/工具,我可以使用我可以完成用户使用浏览器执行的所有任务。

Casperjs 是可以完成我的工作的选项之一,但我更熟悉 python,并且与 casperjs 相比,scrapy 拥有更大的开发人员社区。

没有浏览器的导航实用程序,重量轻且防故障是相关问题之一。

4

2 回答 2

2

简而言之,。scrapy 无法渲染 java 脚本,但浏览器可以。

你可以使用硒。

如果您确定要使用 scrapy 并且需要运行 javascript,您可以使用

用硒刮擦

使用 gtk/webkit/jswebkit 抓取

使用 webdrivers 抓取

于 2013-01-11T06:39:23.507 回答
1

如果你喜欢 CasperJS 但又想坚持使用 Python,你应该看看Ghost.py

于 2013-01-12T09:31:37.237 回答