我正在用 Perl/LWP 构建一个网络爬虫。网络爬虫如何跟踪 ASP.NET 网格中的链接,如下所示:
<a id="ctl00_MainContent_listResult_Top_LnkNextPage" href="javascript:__doPostBack('ctl00$MainContent$listResult$Top$LnkNextPage','')">Next</a>
我正在用 Perl/LWP 构建一个网络爬虫。网络爬虫如何跟踪 ASP.NET 网格中的链接,如下所示:
<a id="ctl00_MainContent_listResult_Top_LnkNextPage" href="javascript:__doPostBack('ctl00$MainContent$listResult$Top$LnkNextPage','')">Next</a>
看起来有一个名为WWW::Scripter的 WWW::Mechanize 子类,它带有javascript和ajax插件,应该能够做到这一点。没有尝试过这种特殊的方法。
另一种选择是WWW::Selenium,它效果很好,但可能对您来说开销/设置太多。
使用 WWW-Mechanize-Firefox,它能够检索/跟踪 Firefox 可以检索的任何链接。
您需要将 mozrepl 插件安装到 firefox,perl 模块将连接到该插件并使用 firefox 打开链接。
http://metacpan.org/pod/WWW::Mechanize::Firefox
示例:http ://metacpan.org/pod/WWW::Mechanize::Firefox::Examples