我们有一个 Perl 脚本，它模拟浏览器LWP::UserAgent用于登录网站并下载一些数据。最近该网站已更改，因此您必须启用 JavaScript 才能登录。我们如何判断网站正在做什么以确定是否启用了 JavaScript，和/或我们如何使用LWP::UserAgent欺骗网站使其认为它是支持 JavaScript 的浏览器？
问问题
68 次
2 回答
0
大多数网站只有在实际需要登录才能成功时才需要启用 javascript 才能登录。他们可能会使用 javascript 来设置 cookie 或显示登录表单。也许登录是使用 XMLHTTPRequest 完成的。在大多数情况下，您将无法欺骗它。您实际上需要一个支持 javascript 的浏览器。获取可嵌入版本的 webkit 或其他东西。
于 2011-05-13T18:46:01.277 回答
0
事实证明，我们看到的问题根本不在于 Perl 脚本……这是配置文件中的错误。
在研究这个问题时，有人提出了一个很棒的工具，叫做 wsp Web Scraping Proxy。这是一个很好的建议，可以准确了解服务器和浏览器之间发生了什么。
感谢您花时间回答问题。
于 2011-05-15T04:57:14.860 回答