1

我正在处理从网页中抓取数据。我所做的是每天“点击”一些页面并记录页面内容，以便进一步提取。当然，有几十页和几个月的点击，所以一切都是自动化的。通常我curl与 Cookies 和 POST 一起使用，效果很好。但我现在有一些“智能”页面，它们使用一些 javascript、会话、voodoo 等等，并且不允许简单地被抓取。我真的需要点击一些按钮来获得我想要的东西。

所以，我想自动化这些操作。您会推荐什么解决方案（语言、插件、...）？我知道iMacros；有没有其他可比的解决方案？或者它是唯一的？（顺便说一下，我在 Linux 下工作）

感谢所有的建议

编辑

有关的：

4

1 回答 1

2

我建议您将 Watir 与 ruby​​ 一起使用。它真的很容易使用，跨平台和跨浏览器。当然，它有一个非常好的文档。

ruby 可以在这里下载：http ://www.ruby-lang.org或者在你的情况下我会建议 apt-get。

Watir 在这里：http : //watir.com/ 但使用起来更容易安装

 gem install watir

不要忘记安装和更新 ruby​​gems。

于 2012-02-01T13:38:01.087 回答