1

我在使用 Web::Scraper 提取 javascript 时遇到问题。下面是我的测试脚本：

#!/usr/bin/perl
use Modern::Perl;
use Web::Scraper;
use Data::Dumper;

my $contents = do { local $/; <DATA> };
my $scraper = scraper { process "//script", "scripts[]" => 'TEXT'; };
my $res = $scraper->scrape($contents);

say Dumper $res;

exit;

__DATA__
<html><head><title>hello</title></head>
<body>
  <script type="text/javascript">
    var dummy = {}
  </script>
</body>
</html>

我的输出：

$VAR1 = {
          'scripts' => [
                         ''
                       ]
        };

在我看来，我找到了脚本标签，但没有保存标签之间的内容。

4

2 回答 2

0

在深入研究 xpath 后，我找到了解决方案。

从以下位置更改刮刀线：

my $scraper = scraper { process "//script", "scripts[]" => 'TEXT'; };

至：

my $scraper = scraper { process "//script" => 'scripts[]' =>
                    scraper { process '//text()', 'script'=>'TEXT'} };

输出javascript代码：

$VAR1 = {
          'scripts' => [
                         {
                           'script' => '
    var dummy = {}
  '
                         }
                       ]
        };

我不相信工艺线是简洁的，但它确实有效。

于 2013-05-23T01:25:01.687 回答
0

试试RAW

#!/usr/bin/perl --
use strict;
use warnings;
use Web::Scraper;
use Data::Dump;
my $contents = q{
<html><head><title>hello</title></head>
<body>
  <script type="text/javascript">
    var dummy = {}
  </script>
</body>
</html>};
#~ my $scraper = scraper { process "//script", "scripts[]" => 'TEXT'; };
my $scraper = scraper { process "//script", "scripts[]" => 'RAW'; };
my $res = $scraper->scrape($contents);
dd $res;
__END__
{ scripts => ["\n    var dummy = {}"] }
于 2013-05-24T22:43:08.763 回答