1

想要处理几个带有表格的html页面。

页面：

  • 包含几个无类表，唯一的方法是如何识别正确的表
  • 所需表格在第一个单元格值“内容”中

问题：如何使用 Web::Scrape 或 Scrappy 或其他工具根据其单元格值找到正确的表格？

示例代码：

#!/usr/bin/env perl
use 5.014;
use warnings;
use Web::Scraper;
use YAML;

my $html = do { local $/; <DATA> };

my $table = scraper {

    #the easy way - table with class, or id or any attribute
    #process 'table.xxx > tr', 'rows[]' => scraper {
    #unfortunately, the table hasn't class='xxx', so :(

    process 'NEED_HELP_HERE > tr', 'rows[]' => scraper {
        process 'th', 'header' => 'TEXT';
        process 'td', 'cols[]' => 'TEXT';
    };
};
my $result = $table->scrape( $html );
say Dump($result);

__DATA__
<head><title>title</title></head>
<body>
<table><tr><th class="inverted">header</th><td>value</td></tr></table>
<!-- here are several another tables (different count) -->

<table> <!-- would be easy with some class="xxx" -->
   <tr>
     <th class="inverted">Content</th> <!-- Need this table - 1st cell == "Content" -->
     <td class="inverted">col-1</td>
     <td class="inverted">col-n</td>
   </tr>
   <tr>
     <th>Date</th>
     <td>2012</td>
     <td>2001</td>
   </tr>
   <tr>
     <th>Banana</th>
     <td>val-1</td>
     <td>val-n</td>
   </tr>
</table>
</body>
</html>
4

3 回答 3

4

您需要使用 XPath 表达式来查看节点的文本内容。

这应该可以解决问题

my $table = scraper {
  process '//table[tr[1]/th[1][normalize-space(text())="Content"]]/tr', 'rows[]' => scraper {
    process 'th', 'header' => 'TEXT';
    process 'td', 'cols[]' => 'TEXT';
  };
};

它可能看起来很复杂，但如果你分解它就可以了。

它选择作为根下<tr>任何元素的子元素的所有元素，其中第一个元素的第一个元素包含等于规范化时的文本元素（去除前导和尾随空格）。<table><th><tr>"Content"

输出

---
rows:
  - cols:
      - col-1
      - col-n
    header: Content
  - cols:
      - 2012
      - 2001
    header: Date
  - cols:
      - val-1
      - val-n
    header: Banana
于 2012-05-22T14:51:23.580 回答
3

HTML::TableExtract似乎对这个问题有好处。

试试这个。

#!/usr/bin/Perl 

use strict;
use warnings;
use lib qw( ..); 
use HTML::TableExtract; 
use LWP::Simple; 

my $te = HTML::TableExtract->new( headers => [qw(Content)] );
my $content = get("http://www.example.com");
 $te->parse($content);

foreach my $ts ($te->tables) {
   print "Table (", join(',', $ts->coords), "):\n";
   foreach my $row ($ts->rows) {
      print join(',', @$row), "\n";
   }
 }

如果你改变这一行

 my $te = HTML::TableExtract->new( headers => [qw(Content)] );

到

 my $te = HTML::TableExtract->new();

它将返回所有表格。因此，如果上面的代码块不能准确地为您提供所需的内容，您可以摆弄那行。

于 2012-05-22T14:30:56.423 回答
1

像往常一样，Web::Query以紧凑性获胜。与 Scraper 不同的是，不必为结果命名，但如果您愿意，只需多出一行。

use Web::Query qw();
Web::Query->new_from_html($html)
->find('th:contains("Content")')
->parent->parent->find('tr')->map(sub {
    my (undef, $tr) = @_;
    +{ $tr->find('th')->text => [$tr->find('td')->text] }
})

表达式返回

[
    {Content => ['col-1', 'col-n']},
    {Date    => [2012,    2001]},
    {Banana  => ['val-1', 'val-n']}
]
于 2012-05-22T15:18:35.390 回答