1

我正在使用多线程来解析 IHS 日志文件。我为每个文件句柄分配一个单独的线程并计算 500 个错误的数量。

sub parse_file { 

  my $file = shift; 
  my @srv = split /\//,$file;
  my $filename = $srv[$#srv];
  my $TD = threads->tid();

  $sem->down;
    print "Spawning thread $TD to process file \"$filename\"\n" if ($verbose);
    $rTHREADS++;
    $TIDs{$TD} = 1;
  $sem->up;

  open (FH, "$file") || die "Cannot open file $file $!\n";  
  while (<FH>){    
    if (/^(\d{13}).*?(\d{3}) [\-0-9] \d+ \d+ \//){   
      my $epoch = $1/1000; 
      my $http_code = $2;
      my $ti = scalar localtime($epoch);
      $ti =~ s/(\d{2}):\d{2}:\d{2}/$1/;

      if ($http_code eq '500'){
        unless ( exists $error_count{$ti} && exists $error_count{$ti}{$http_code} ){
          lock(%error_count);
          $error_count{$ti} = &share({});
          $error_count{$ti}{$http_code}++;
        }
      }
    }
  }
  close (FH);  

  $sem->down;
    print "Thread [$TD] exited...\n" if ($verbose);
    $rTHREADS--;
    delete $TIDs{$TD};
  $sem->up;

}

问题是，使用 print Dumper(%http_count) 的输出如下所示：

$VAR1 = 'Mon Apr 30 08 2012';
$VAR2 = {
          '500' => '1'
        };
$VAR3 = 'Mon Apr 30 06 2012';
$VAR4 = {
          '500' => '1'
        };
$VAR5 = 'Mon Apr 30 09 2012';
$VAR6 = {
          '500' => '1'
        };
$VAR7 = 'Mon Apr 30 11 2012';
$VAR8 = {
          '500' => '1'
        };
$VAR9 = 'Mon Apr 30 05 2012';
$VAR10 = {
           '500' => '1'
         };
$VAR11 = 'Mon Apr 30 07 2012';
$VAR12 = {
           '500' => '1'
         };
$VAR13 = 'Mon Apr 30 10 2012';
$VAR14 = {
           '500' => '1'
         };
$VAR15 = 'Mon Apr 30 12 2012';
$VAR16 = {
           '500' => '1'
         };

作业耗时 79 秒

每个日期的 500 计数始终设置为 1。我无法让它显示正确的计数。似乎该声明$error_count{$ti} = &share({});是罪魁祸首，但我不知道如何解决它。

谢谢！

4

2 回答 2

1

根据您代码中的逻辑，每个值只增加一次：当它在%error_count.

要每次都增加值，但仅在必要时创建脚手架（您必须使用共享容器而不是依赖自动激活），请使用

if ($http_code eq '500') {
  lock(%error_count);

  unless (exists $error_count{$ti} && exists $error_count{$ti}{$http_code}) {
    $error_count{$ti} = &share({});
  }

  $error_count{$ti}{$http_code}++;
}

如果锁定整个散列过于宽泛，请考虑改用Thread::Semaphore。

于 2012-04-30T21:12:40.063 回答
0 
$error_count{$ti} = &share({});

您每次都分配一个新的哈希引用，然后在下一行中增加计数。将其更改为：

$error_count{$ti} ||= &share({});

这将有条件地初始化散列表成员。undef准确的说是当值为 或者为0空字符串时才生效。

于 2012-04-30T21:13:31.390 回答