0

背景

我有这个方案：来自我的应用程序的日志通过 rsyslog 到中央日志服务器，然后到 Logstash 和 Elasticsearch。来自应用程序的日志是纯 JSON，但 rsyslog 会在日志中添加“时间戳”、“应用程序名称”和“服务器名称”文件。日志变成了这样：

timestamp app-name server-name [JSON]

问题

如何使用 Logstash 过滤器删除前三个字段？我可以通过位置编号（如在 awk 中）获取字段并执行以下操作：

filter {
  somefilter_name {
      remove_field => $1, $2, $3 
  }
}

或者也许我的愿景完全错误，我必须以另一种方式做到这一点？

谢谢！

4

1 回答 1

0

使用 grok{} 来匹配它们（它们本身可能很有用！）并将事件的其余部分放回 [message] 字段：

给定输入，例如：

2015-06-16 13:37:30 myApp myServer { "jsonField": "jsonValue" }

而这个配置：

grok {
     pattern => "%{TIMESTAMP_ISO8601:timestamp} %{WORD:app} %{WORD:server} %{GREEDYDATA:message}"
     overwrite => [ "message" ]
}

json {
    source => "message"
}

将产生这个文件：

{
   "message" => "{ \"jsonField\": \"jsonValue\" }",
   "@version" => "1",
   "@timestamp" => "2015-06-16T20:38:55.658Z",
   "host" => "0.0.0.0",
   "timestamp" => "2015-06-16 13:37:30",
   "app" => "myApp",
   "server" => "myServer",
   "jsonField" => "jsonValue"
}
于 2015-06-16T20:40:15.937 回答