0

我有一个 Web 访问 CSV 文件，其中包含一些看起来像这样的统计信息（通常大约 20K 记录，但这是一个只有 6 条记录的示例）：

servlet name, HTTP RC, response time, request timestamp
/servlet_A,200,3,[10/Nov/2013:11:00:12 +0000]
/servlet_B,302,10,[10/Nov/2013:11:00:12 +0000]
/servlet_C,200,17,[10/Nov/2013:11:00:12 +0000]
/servlet_A,200,30,[10/Nov/2013:11:00:15 +0000]
/servlet_B,302,16,[10/Nov/2013:11:00:15 +0000]
/servlet_C,200,11,[10/Nov/2013:11:00:15 +0000]

我需要将其解析为以下格式：

servlet name, requests count with latency in range 0-5, latency range 6-10, latency range 11-15, ...., latency range 196-200, HTTP 200 count, HTTP 302 count
servlet_A,1,0,0,0,0,1,0,....,2,0
servlet_B,0,1,0,1,0,0,0,....,0,2
servlet_C,0,0,1,1,0,0,0,....,2,0

这些文件位于带有 Perl、Python、Bash 等工具的基于 CentOS 的服务器上。输出文件将用于加载到我无权访问的第 3 方 MySQL 数据库中。

我尝试用 bash 编写此代码，但我的数学有点偏离，我尝试使用除以 5 来放置延迟计数，例如延迟 = 11 和 11 / 5 = 2.2 并向上取整。这意味着应该将 1 的增量添加到第三个位置，但是我在正确解析它时遇到了问题。

也许还有其他选项可以执行此操作（使用本地构建的数据库并导出文件）或我现在知道的其他一些选项，因此非常感谢任何帮助！

4

1 回答 1

0

这对于一次性数据转换来说既快速又丑陋，并且不遵循任何良好编码实践的约定:-)。假设您的数据位于data.txt. 不输出任何标题。

#! /usr/bin/perl

# Sub-program to calculate latency counts for number range
# params: key, latency lower limit, latency upper limit
sub latencyCounts {
  $latency_total = 0;
  for ($i = $_[1]; $i <= $_[2]; $i++) {
    $latency_total += $latency_counts{$_[0]}[$i];  
  }
  return $latency_total;
}

# parse file and add data to arrays
open (FOO, "< data.txt");
while (<FOO>) {
  chomp;
  if (/^\/(.+),(\d{3}),(\d+),\[.+\]$/) {
    $httpcode_counts{$1}[$2]++;
    $latency_counts{$1}[$3]++;
  }
}
close (FOO);

# calculate and output totals
foreach (sort keys %httpcode_counts) {
  $key = $_;
  printf ("%s,%d,%d,%d,%d,...,%d,%d\n",
      $key,
      latencyCounts($key, 0, 5),
      latencyCounts($key, 6, 10),
      latencyCounts($key, 11, 195),
      latencyCounts($key, 196, 200),
      $httpcode_counts{$key}[200],
      $httpcode_counts{$key}[302]);
}

exit;

有人可能会在不到一半的代码中得到相同的结果......？

于 2013-11-10T13:43:54.233 回答