我正在解析一个html页面。
我尝试了 spynner、selenium、mechanize,但在这种情况下无法解决 javascript 的问题。谁能让我知道如何处理此类问题以将数据提取到下一页?
当我在 selenium 上工作时,首先在这个 url 中,我们必须在其他选择框中获取数据然后继续,但是使用 selenium 在单击下一页后我只能获得相同的 url,同样的 spynner 也是如此。
我正在解析一个html页面。
我尝试了 spynner、selenium、mechanize,但在这种情况下无法解决 javascript 的问题。谁能让我知道如何处理此类问题以将数据提取到下一页?
当我在 selenium 上工作时,首先在这个 url 中,我们必须在其他选择框中获取数据然后继续,但是使用 selenium 在单击下一页后我只能获得相同的 url,同样的 spynner 也是如此。
据我所知,mechanize 不支持 javascript。因此,如果您正在使用 javascript 繁重的网站进行任何自动化,那么机械化可能不是要走的路。相反,您可能需要 python 来编写功能齐全的 Web 浏览器。您可以通过PyXPCOM、Ruby 和 WATIR或spynner使用 Mozilla 来执行此操作。在这些选项中,我可能首先尝试使用 spynner,因为 spynner 与 python 集成得很好。
祝你的项目好运,编码愉快!