0

我有 perl 脚本，用于按日期显示信息。我根据日期获取数据并将其保存为具有字段分隔符“AaBbCc”的平面文件。

文件名是

18-01-13_REPORT
17-01-13_REPORT

记录将是

111 AaBbCc 2222 AaBbCc 3333 AaBbCc etc(each two lines forms a single record)

ETC

每个文件有超过 5000 条记录。使用我的代码，我可以成功打印记录。但是打印所有记录需要15分钟。现在我想优化代码以在更短的时间内打印这些记录。

请找到我的代码

open (FILE,"$filename/$val_REPORT_DATE") 
    or die "Could not read from $filename, program halting.";
local $/ = undef; #get the whole file in to picture
while(<FILE>) {
    chomp $_;
    @fields = split('AaBbCc', $_);
    for ( $i=0 ; $i<$count ; ) {
        print "<tr><td>" . $fields[$i+0] .
              "</td><td>". $fields[$i+1] .
              "</td><td>". $fields[$i+2] .
              "</td><td>". $fields[$i+3] .
              "</td><td>". $fields[$i+4] .
              "</td><td>". $fields[$i+5] .
              "</td><td>". $fields[$i+6] .
                           $fields[$i+7] ."</td></tr>";
        $i = $i + 8;
    }
}

请帮我在短时间内打印所有记录以提高性能

提前致谢 ！！！维杰

4

1 回答 1

2

您的代码运行缓慢有几个原因：

  1. 使用的文件格式是无脑的。

  2. 对于您在 中查找的每个元素@fields，您执行一个加法。虽然这在低级语言中不会过于昂贵，但 Perls 标量相当昂贵。

    这是您的操作码树中执行数组元素查找的众多部分之一

    35               <2> aelem sK/2 ->36
31                  <1> rv2av sKR/1 ->32        # get actual array
30                      <#> gv[*fields] s ->31  # get global typeglob
34                  <2> add[t63] sK/2 ->35      # create new scalar here
-                       <1> ex-rv2sv sK/1 ->33  # get actual scalar
32                         <#> gvsv[*i] s ->33  # get global typeglob
33                      <$> const[IV 7] s ->34

    将此与使用词法变量的元素查找进行比较，并且不添加：

    c        <2> aelem sK/2 ->d
a           <0> padav[@fields:47,49] sR ->b     # beautiful
b           <0> padsv[$i:48,49] s ->c           # beautiful

  3. 有一些最佳实践可以产生更高性能的代码，例如使用带有my. 全局变量的查找方式不同，而且速度要慢得多（见上文）。此外，没有必要一次啜饮整个文件。如果可以在恒定空间中完成，为什么还要使用那么多内存？

.

#!/usr/bin/perl
use strict; use warnings; # every good script starts with these
use 5.010;

open my $file, "<", $filename or die qq(Couldn't open "$filename": $!):
until (eof $file) {
  # read two lines at a time
  my $line1 = <$file>;
  my $line2 = <$file> // die qq(uneven number of lines in "$filename");
  ...
}

现在我们可以填写两种可能的解决方案。这是强调数据流编程的一个（从下往上阅读）：

print
    "<tr>" . (
       join "" =>
       map  "<td>$_</td>",
       map  {chomp; split /AaBbCc/}
            ($line1, $line2)
    ) . "</tr>\n"
    ;

相同的算法可以编码为

chomp($line1, $line2);
my $string = "";
$string .= "<td>$_</td>" for split(/AaBbCc/, $line1), split(/AaBbCc/, $line2);
print "<tr>$string</tr>\n";

我们还可以滥用特殊变量：

chomp($line1, $line2);
my @fields = split(/AaBbCc/, $line1), split(/AaBbCc/, $line2);
local $" = "</td><td>"; # list seperator
print "<tr><td>@fields</td></tr>\n";

或者，没有命名数组：

chomp($line1, $line2);
local $" = "</td><td>";
print "<tr><td>@{[split(/AaBbCc/, $line1), split(/AaBbCc/, $line2)]}</td></tr>\n";

我不做的是手动计算索引或展开循环。

现在虽然不能保证这些变体运行得更快，但您有一些材料可以试验。要真正优化您的代码，您应该使用Devel::NYTProf分析器。它会生成非常详细的逐行报告，显示每条语句的执行次数以及平均花费的时间。

假设您的所有字段都不包含选项卡，这是一个将您的数据转换为理智的选项卡分隔输出的脚本：

#!/usr/bin/perl
use strict; use warnings; use feature 'say';

# usage perl convert.pl filenames...

for my $filename (@ARGV) {
  open my $oldfile, "<", $filename       or die qq(Can't open "$filename": $!);
  open my $newfile, ">", "$filename.new" or die qq(Can't open "$filename.new": $!);
  until (eof $oldfile) {
     my $line1 = <$oldfile> // die qq(unexpected eof in "$filename");
     my $line2 = <$oldfile> // die qq(unexpected eof in "$filename": uneven number of lines);
     chomp( $line1, $line2 );
     my @fields = map {split /AaBbCc/, $_, 4} $line1, $line2;
     say $newfile join "\t" => @fields;
  }
  rename $filename       => "$filename.bak" or die qq(Can't back up "$filename");
  rename "$filename.new" => $filename       or die qq(Can't replace "$filename" with transformed data);
}
于 2013-01-18T17:47:58.437 回答