4

XML 文件是这样的：

<?xml version="1.0" encoding="UTF-8"?>
<resource-data xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:noNamespaceSchemaLocation="resource-data.xsd">
  <class name="AP">
    <attributes>
      <resourceId>00 11 B5 1B 6D 20</resourceId>
      <lastModifyTime>20130107091545</lastModifyTime>
      <dcTime>20130107093019</dcTime>
      <attribute name="NMS_ID" value="DNMS" />
      <attribute name="IP_ADDR" value="10.11.141.111" />
      <attribute name="LABEL_DEV" value="00 11 B5 1B 6D 20" />
    </attributes>
        <attributes>
      <resourceId>00 11 B5 1B 6D 21</resourceId>
      <lastModifyTime>20130107091546</lastModifyTime>
      <dcTime>20130107093019</dcTime>
      <attribute name="NMS_ID" value="DNMS" />
      <attribute name="IP_ADDR" value="10.11.141.112" />
      <attribute name="LABEL_DEV" value="00 11 B5 1B 6D 21" />
    </attributes>
  </class>
</resource-data>

我的代码：

#!/usr/bin/perl

use Encode;
use XML::LibXML;
use Data::Dumper;

$parser = new XML::LibXML;
$struct = $parser->parse_file("d:/AP_201301073100_1.xml");

my $file_data = "d:\\ap.txt";
open IN, ">$file_data";

$rootel = $struct->getDocumentElement();
$elname = $rootel->getName();

@kids   = $rootel->getElementsByTagName('attributes');
foreach $child (@kids) {
  @atts = $child->getElementsByTagName('attribute');
  foreach $at (@atts) {
    $va = $at->getAttribute('value');
    print IN encode("gbk", "$va\t");
  }
  print IN encode("gbk", "\n");
}
close(IN);

我的问题是，如果 XML 文件只有 80MB，那么程序会非常快，但是当 XML 文件大得多时，程序会非常慢。有人可以帮我加快速度吗？

4

5 回答 5

6

UsingXML::Twig将允许您处理<attributes>在解析过程中遇到的每个元素，然后丢弃不再需要的 XML 数据。

该程序似乎可以满足您的需求。

use strict;
use warnings;

use XML::Twig;
use Encode;

use constant XML_FILE => 'S:/AP_201301073100_1.xml';
use constant OUT_FILE => 'D:/ap.txt';

open my $outfh, '>:encoding(gbk)', OUT_FILE or die $!;

my $twig = XML::Twig->new(twig_handlers => {attributes => \&attributes});
$twig->parsefile('myxml.xml');

sub attributes {
  my ($twig, $atts) = @_;
  my @values = map $_->att('value'), $atts->children('attribute');
  print $outfh join("\t", @values), "\n";
  $twig->purge;
}

输出

DNMS  10.11.141.111 00 11 B5 1B 6D 20
DNMS  10.11.141.112 00 11 B5 1B 6D 21
于 2013-01-08T07:19:54.247 回答
4

另一种可能性是使用XML::LibXML::Reader。它的工作方式类似于 SAX，但使用与libxmlXML::LibXML 相同的库：

#!/usr/bin/perl
use warnings;
use strict;

use XML::LibXML::Reader;

my $reader = XML::LibXML::Reader->new(location => '1.xml');

open my $OUT, '>:encoding(gbk)', '1.out';

while ($reader->read) {
    attr($reader) if 'attributes' eq $reader->name
                     and XML_READER_TYPE_ELEMENT == $reader->nodeType;
}

sub attr {
    my $reader = shift;
    my @kids;
  ATTRIBUTE:
    while ($reader->read) {
        my $name = $reader->name;
        last ATTRIBUTE if 'attributes' eq $name;
        next ATTRIBUTE if XML_READER_TYPE_END_ELEMENT == $reader->nodeType;
        push @kids, $reader->getAttribute('value')
            if 'attribute' eq $name;
    }
    print {$OUT} join("\t", @kids), "\n";
}
于 2013-01-08T09:05:45.253 回答
0

如果您有这么大的 XML 文件 - 80MB+，您无法将整个文件解析到内存中 - 首先，它非常慢，其次，它最终会耗尽内存并且您的程序会崩溃。

我建议使用XML::Twig和回调重写你的代码。

于 2013-01-08T07:06:37.557 回答
0

对于大型 XML 文件，您必须使用基于流的解析器，例如XML::SAX，因为 DOM 解析器在内存中构建整个 XML 结构。

于 2013-01-08T07:22:37.087 回答
0

XML::Rules的另一种方式：

use strict;
use warnings;

use XML::Rules;
use Data::Dumper;

my @rules = (
  attribute => [ attributes => sub { print "$_[1]{value}\n"; return } ],
  _default => undef,
);

my $xr = XML::Rules->new( rules => \@rules );
my $data = $xr->parse($xml);
于 2013-01-08T18:13:57.060 回答