14

我试图解析我的 apache2 错误日志，但遇到了一些麻烦。它似乎与过滤器不匹配。我很确定时间戳是错误的，但我不确定，我真的找不到任何文档来解决这个问题。另外，有没有办法让fields.errmsg我得到什么@message？

日志

[Wed Jun 26 22:13:22 2013] [error] [client 10.10.10.100] PHP Fatal error:  Uncaught exception '\Foo\Bar'

发货人配置

input {
        file {
                'path' => '/var/log/apache2/*-error.log'
                'type' => 'apache-error'
        }

}

filter {
        grok {
                type => "apache-error"
                pattern => "\[%{HTTPDATE:timestamp}\] \[%{WORD:class}\] \[%{WORD:originator} %{IP:clientip}\] %{GREEDYDATA:errmsg}"
        }
}


output {
        stdout {}
        redis {
                'data_type' => 'list'
                'host' => 'logstash.server.net'
                'key' => 'logstash'
        }
}
4

4 回答 4

31

哎哟！

我知道我参加聚会有点晚了，但它来了！

我在/etc/logstash/patterns.d/系统上创建了一个目录，并在其中创建了一个文件apache-error，其中包含：

APACHE_ERROR_TIME %{DAY} %{MONTH} %{MONTHDAY} %{TIME} %{YEAR}
APACHE_ERROR_LOG \[%{APACHE_ERROR_TIME:timestamp}\] \[%{LOGLEVEL:loglevel}\] (?:\[client %{IPORHOST:clientip}\] ){0,1}%{GREEDYDATA:errormsg}

/etc/logstash/patterns.d/将在logstash配置中引用如下：

grok {
  patterns_dir => [ "/etc/logstash/patterns.d" ]
  match => [ "message", "%{APACHE_ERROR_LOG}" ]
}

您可以在Grok Debugger对其进行测试，就像 Adam 在他的评论中提到的那样。似乎与您发送的示例日志条目一起工作得很好。我一直在与我的一位客户合作得很好。

上面的模式将最终消息放在errormsg字段中。所以我只是删除该message字段。

这是我目前在我的 logstash 配置中使用的：

filter {
  if [type] == "apache_error_log" {

    grok {
      patterns_dir => [ "/etc/logstash/patterns.d" ]
      match => [ "message", "%{APACHE_ERROR_LOG}" ]
    }

    if !("_grokparsefailure" in [tags]) {

      mutate {
        remove_field => [ "message" ]
        add_field =>  ["timestamp_submitted", "%{@timestamp}"]
      }

      date {
        # Try to pull the timestamp from the 'timestamp' field (parsed above with
        # grok). The apache time format looks like: "18/Aug/2011:05:44:34 -0700"
        #                        Sat Feb 08 06:31:09 2014
        match => [ "timestamp", "EEE MMM dd HH:mm:ss yyyy" ]
        remove_field => [ "timestamp" ]
      }

      geoip {
        source => "clientip"
      }
    }
  }
}

请注意，我使用的是类型 ofapache_error_log而不是apache-error.

试一试。我很想知道这是否适用于您和其他人！

干杯!

于 2014-02-20T04:09:35.810 回答
12

我们的错误日志看起来有点不同：

[Tue Dec 08 12:30:35.997887 2015] [ssl:info] [pid 1178:tid 1072] (70014)End of file found: [client 10.129.24.77:49987] AH01991: SSL input filter read failed.

但我发现了一个完美的预定义模式：

HTTPD24_ERRORLOG

在Logstash 源代码中查看

于 2016-12-19T18:17:22.927 回答
4

对我不起作用：

EEE MMM dd HH:mm:ss yyyy

为我工作（Apache 2.4）：

EEE MMM dd HH:mm:ss.SSSSSS yyyy
于 2017-03-04T12:53:55.197 回答
2

Logstash 有一个内置的 apache 日志解析器。

这是一个例子......

grok {
   type    => 'company'
   pattern => ["%{COMBINEDAPACHELOG}"]
   add_tag => "apache"
}

作为参考，您可以查看 Logstash 的文档

于 2013-06-28T10:40:08.457 回答