perl - Perl，使用 Mechanize 浏览网页

Question

我有一堆网页，我想浏览一个脚本并获取其中的所有内容。我知道该链接是每个页面上的第 18 个链接。我有以下代码作为测试，只需点击一次链接并进行屏幕抓取：

use strict;
use WWW::Mechanize;

my $start = "http://*some-webpage*";

my $mech = WWW::Mechanize->new( autocheck => 1 );
$mech->get( $start );
open(Output, ">mech_test.txt") or die $!;
$mech->follow_link(url_regex => qr//,  n => 18 );
print Output $mech->response()->content();
close(Output);

不幸的是，我试图访问的链接在 href 标记中没有任何内容。查看页面的源链接如下所示：

<a href="" onclick="return _doClick('CA256D6E001A7020.80376e858b0791b1ca256d7300098304/$Body/0.155A', this, null)">Next &gt;&gt;</a>

我相信这是 javascript 并且没有办法 mechanize 可以跟随这个链接。有什么想法可以解决这个问题吗？

Answer 1

您应该使用WWW::Scripter模块，它是WWW::Mechanize使用 W3C DOM 并提供脚本支持的子类。

Answer 2

如果 JS 非常简单，则可以是纯 perl。

您必须找到 javascript 子例程，如果它非常简单，您可以将其复制为 perl sub。

然后你就可以自己建立链接了。

my @javascript_links = $html =~ m#return _doClick\((.*?)\)#gis;
#array contain 'CA256D6E001A7020.80376e858b0791b1ca256d7300098304/$Body/0.155A', this, null
my @links = extract_links(@javascript_links);
foreach my $link (@links){
  $mech->get( $link )
}
#***
sub extract_links{
 my $line = shift;
 my @params = split(/,/,$line);
 trim(@params);
 #mimic JS logic here, whatever it is
 my $link = "/some/path/here/to/add/some.php?someparam1=val1&param=$params[0]"; 
 return $link;

}