5

（这与我的另一个问题logstash grok filter for custom logs 有关）

我有一个日志文件，其行看起来像：

14:46:16.603 [http-nio-8080-exec-4] INFO  METERING - msg=93e6dd5e-c009-46b3-b9eb-f753ee3b889a CREATE_JOB job=a820018e-7ad7-481a-97b0-bd705c3280ad data=71b1652e-16c8-4b33-9a57-f5fcb3d5de92
14:46:17.378 [http-nio-8080-exec-3] INFO  METERING - msg=c1ddb068-e6a2-450a-9f8b-7cbc1dbc222a SET_STATUS job=a820018e-7ad7-481a-97b0-bd705c3280ad status=ACTIVE final=false

我构建了一个与第一行匹配的模式：

%{TIME:timestamp} %{NOTSPACE:http} %{WORD:loglevel}%{SPACE}%{WORD:logtype} - msg=%{NOTSPACE:msg}%{SPACE}%{WORD:action}%{SPACE}job=%{NOTSPACE:job}%{SPACE}data=%{NOTSPACE:data}

但显然这仅适用于data=末尾有的行，与第二行末尾的status=andfinal=或其他行上的其他属性值对相比？如何设置一个模式，说明在某个点之后会有任意foo=bar对我想识别并作为输出中的属性/值对输出？

4

1 回答 1

9

您可以像这样更改 grok 模式，将所有键值对放在一个字段 ( kvpairs) 中：

%{TIME:timestamp} %{NOTSPACE:http} %{WORD:loglevel}%{SPACE}%{WORD:logtype} - %{GREEDYDATA:kvpairs}

之后，您可以使用kv 过滤器来解析键值对。

kv {
    source => "kvpairs"
    remove_field => [ "kvpairs" ] # Delete the field afterwards
}

不幸的是，您的 kv 对中有一些简单的值（例如CREATE_JOB）。您可以使用 grok 解析它们，并对之前的值使用一个 kv 过滤器，对这些简单值之后的值使用另一个 kv 过滤器。

于 2015-08-07T18:25:40.690 回答