4

我试图了解使用 grok 过滤我的 apache 错误日志。

我的错误日志文件如下所示：

[Thu Feb 27 13:22:44 2014] [error] [client 10.110.64.71] script not found or unable to stat: /var/www/cgi-bin/php4

我如何使用 grok 过滤它？我已经做到了这一点：

filter {
  grok {
    type => "apache-error"
    pattern => "\[%{HTTPDATE:timestamp}\] \[%{WORD:class}\] \[%{WORD:originator} %{IP:clientip}\] %{GREEDYDATA:errmsg}"
  }
}

我尝试使用Grok 调试器，但我几乎不知道我在做什么。我对logstash来说是全新的。

4

1 回答 1

5

所以使用 grok 调试器应用程序的方法是这样的：

在“输入”框中插入您的输入，并在“模式”框中查找模式以匹配此输入。其工作方式是，正则表达式引擎尝试查找您在输入文本中指定的模式的匹配项。任何匹配都会被提取并显示在输出框中（以 JSON 格式，作为您指定的键值对）

Grok 模式类似于可以重用的合并和重命名的正则表达式。在你的情况下：

Input:  [Thu Feb 27 13:22:44 2014] [error] [client 10.110.64.71] script not found or unable to stat: /var/www/cgi-bin/php4

Your_Pattern: \[%{HTTPDATE:timestamp}\] \[%{WORD:class}\] \[%{WORD:originator} %{IP:clientip}\] %{GREEDYDATA:errmsg}

现在，这显示“无匹配”。这是因为，HTTPDATE 模式是由这个正则表达式组成的： %{MONTHDAY}/%{MONTH}/%{YEAR}:%{TIME} %{INT} 如您在此处看到的。

因此它无法匹配您输入的不同日期格式。比赛本身在那里失败。正则表达式引擎将开始解析您的输入以查找与指定正则表达式的第一个可能匹配项。但由于它本身没有找到起始模式，所以它不会返回任何匹配项。

要指定的正确模式是：

\[(?<timestamp>%{DAY:day} %{MONTH:month} %{MONTHDAY} %{TIME} %{YEAR})\] \[%{WORD:class}\] \[%{WORD:originator} %{IP:clientip}\] %{GREEDYDATA:errmsg}

在这里，我将 grok 模式 %{DAY:day} %{MONTH:month} %{MONTHDAY} %{TIME} %{YEAR} 重命名为“时间戳”。执行此操作的语法是：

(?<new_name>regular expression / grok).

这篇文章很好地解释了如何使用 groks。

于 2014-04-10T06:58:33.410 回答