1

我编写了一个 Perl 程序，它将匹配日志文件中的某些单词并将结果存储在数据库中。问题是这个程序适用于一个小文件，但不适用于文件大小~2GB。它的大小或程序需要更改吗？

use POSIX qw(strftime);

# load module
use DBI;

open( FILE, "/root/temp.log" ) or die "Unable to open logfile:$!\n";
$count_start   = 0;
$count_interim = 0;
$count_stop    = 0;

while (<FILE>) {
  @test = <FILE>;
  foreach $line (@test) {

    if ( $line =~ m/server start/ ) {

      #print "yes\n";
      $count_start++;
    }
    elsif ( $line =~ m/server interim-update/ ) {
      $count_stop++;
    }
    elsif ( $line =~ m/server stop/ ) {
      $count_interim++;
    }

  }
  print "$count_start\n";
  print "$count_stop\n";
  print "$count_interim\n";
  $now_string = strftime "%b %e %H:%M:%S", localtime;
  print $now_string;

  # connect
  my $dbh = DBI->connect( "DBI:Pg:dbname=postgres;host=localhost",
    "postgres", "postgres", { 'RaiseError' => 1 } );

  # execute INSERT query
  my $rows = $dbh->do(
"insert into radcount (acc,bcc,dcc) Values  ('$count_start','$count_stop','$count_interim')"
  );

  print "$rows row(s) affected\n";

  # clean up
  $dbh->disconnect();

}

close(LOG);
4

2 回答 2

5

这里有几件事-首先我建议您将文件句柄更改为三个 arg open-在此处进行推理

open( my $fileHandle, '<', '/root/temp.log' ) or die "blah" ;

其次，您正在将整个文件读入一个数组 - 对于一个大文件，这会吃掉很多内存。而是逐行阅读并处理它：

while(<$fileHandle>){
    #contents of your foreach loop
}
于 2012-07-09T13:12:14.080 回答
3

我对你的程序有几点意见。

  • 始终 在程序开始时使用，并use strict在首次使用时声明变量use warningsmy

  • 始终使用词法文件句柄和 的三参数形式open，并始终检查打开调用的状态

  • 您正在使用 filehandle 打开文件FILE，但正在关闭LOG

  • 您的while语句读取文件的第一行并将其丢弃

  • @test = <FILE>尝试将文件的所有其余部分读入数组。这就是导致您的问题的原因

  • 您应该连接到数据库一次，并为其余代码使用相同的数据库句柄

  • 您应该将prepare您的语句与占位符一起使用，并将实际值传递给execute

  • 您正在$count_stop为一条interim-update记录和$count_interim一条stop记录递增

  • 核心模块Time::Piece提供了一个strftime没有臃肿的方法POSIX

这是您的程序的修改以显示这些想法。我还没有设置日志文件和数据库来测试它，但它对我来说看起来不错并且可以编译。

use strict;
use warnings;

use Time::Piece;
use DBI;

open my $log, '<', '/root/temp.log' or die "Unable to open log file: $!";

my ($count_start, $count_interim, $count_stop) = (0, 0, 0);

while (<$log>) {

  if ( /server start/ ) {
    $count_start++;
  }
  elsif ( /server interim-update/ ) {
    $count_interim++;
  }
  elsif ( /server stop/ ) {
    $count_stop++;
  }
}

print <<END;
Start:   $count_start
Interim: $count_interim
Stop:    $count_stop
END

print localtime->strftime("%b %e %H:%M:%S"), "\n";

my $dbh = DBI->connect(
    "DBI:Pg:dbname=postgres;host=localhost", "postgres", "postgres",
    { 'RaiseError' => 1 } );

my $insert = $dbh->prepare('INSERT INTO radcount (acc, bcc, dcc) VALUES (?, ?, ?)');
my $rows = $insert->execute($count_start, $count_stop, $count_interim);

printf "%d %s affected\n", $rows, $rows == 1 ? 'row' : 'rows';
于 2012-07-09T16:41:09.167 回答