logstash - 如何使用 logstash 来识别作为哈希的消息

Question

全部

我正在使用 logstash 从远程服务器发送日志。我得到的消息是这样的哈希类型：

[2014-12-06 23:59:57] 112.254.70.37 <AUDIO> {"type":"Stat", "eid":4800316, "mid":"87192133091532", "ccid":3228662, "ver":102, "ip":"114.113.200.227", "port":9081, "jitter":"0 0 0 0 0 ", "break":"0 0 0 0 0 ", "interrupt":"0 0 0 0 0 ", "tcp_rtt":"40 40 45 50 50 ", "udp_rtt":"31 33 35 40 35 ", "all_pkts":"107180 107193 107249 107323 107358 ", "lost":"0 0 0 0 0 ", "delay":"40.78", "pull":"3 3 3 3 3 "}

那我怎么写 grok 部分，我到处搜索文档，但我仍然不知道如何......谢谢！

Answer 1

首先，您必须通过grok过滤器解析出您的 json 数据。然后，使用json过滤器解析所有的 hashmap 值。使用此配置，我可以解析您的日志并创建所有field: value。希望这可以帮到你。

input {
    stdin{
    }
}

filter {
    grok {
    match => [ "message" , "\[%{TIMESTAMP_ISO8601:datatime}\] %{IP:ip} <%{WORD:level}> %{GREEDYDATA:data}"]
    }
    json {
            source => "data"
    }
}

output {
    stdout{
            codec => rubydebug
    }
}