perl - 需要一个脚本来将 PIX/ASA 日志格式化为 CSV

Question

我正在做一个项目来将服务器上的各种解析为csv。有没有人有一个好的 perl 脚本或 gawk 语句可以将标准 PIX/ASA 日志解析为 CSV...

谢谢。

Answer 1

我帮助编写了我无法共享的 PIX/ASA 日志的内部解析。例如，我们希望获得所有与交通相关的消息的来源和目的地信息。我们最终制作了一个单独解析每个消息代码的模块。另一个障碍是协议名称和name声明等一些信息在日志中显示为别名，而不是数字或 IP。CPAN 模块 PIX::Walker 可以帮助解决这些问题。

如果您想要的只是严重性、代码和消息，您可以使用：

#!/usr/bin/perl

use strict;

if (-e $ARGV[0]) {
 open(INFILE,$ARGV[0]);
} else {
 die "Cannot open logfile $ARGV[0]\n";
}

foreach my $line (<INFILE>) {
 chomp $line;
 if (/^%(ASA|PIX)-(\d{1})-(\d{6}): (.*)/) {
  print "\"" . $1 . "\",\"" . $2 . "\",\"" . $3 . "\"\n";
 }
}

但如果这就是你想要的，我建议使用 syslog-ng 和 mysql 配置如下：

options {
        long_hostnames(off);
        sync(100);
        stats(43200);
        use_fqdn(no);
        keep_hostname(yes);
        owner (nglog);
};

source udpsource { udp(ip(0.0.0.0) port(514));};

parser asa {
 csv-parser(colunms("ASA_SEV", "ASA_CODE", "ASA_TXT")
 flags(escape-none)
 delimiters("-:")
 );
};

destination d_sql { 
  sql(type(mysql)
  host("logserver") username("syslog-ng") password("password")
  database("logs")
  table("ASAlogs")
  columns("datetime", "host", "severity", "code", "message")
  values("$R_DATE", "$HOST", "$ASA_SEV", "$ASA_CODE", "$ASA_TXT")
  indexes("datetime", "host", "severity", "code"));
};

log { source{udpsource};
    log {parser(asa); destination(d_sql)};
};

这样，它就位于可以从中运行报告的数据库中。您还可以制作一个非常简单的 PHP 或 Ruby on Rails Web 前端。