2

我通过 json 将 Windows DNS 调试日志发送到 Elasticsearch，我需要解析它们。与微软一样，没有什么是容易的。DNS 调试日志不是 CSV。该文件中唯一有用的是它具有固定长度的列。

以下是 DNS 日志的示例： 11/21/2014 5:59:13 PM 0458 PACKET 00000000039ED750 UDP Rcv 192.168.1.98 600c Q [0001 D NOERROR] A (9)grokdebug(9)herokuapp(3)com(0) 11/21/2014 5:59:13 PM 0458 PACKET 00000000039EF460 UDP Snd 192.168.1.1 e044 Q [0001 D NOERROR] A (9)grokdebug(9)herokuapp(3)com(0) 11/21/2014 5:59:13 PM 0458 PACKET 00000000039F85B0 UDP Rcv 192.168.1.1 e044 R Q [8081 DR NOERROR] A (9)grokdebug(9)herokuapp(3)com(0) 11/21/2014 5:59:13 PM 0458 PACKET 00000000039F85B0 UDP Snd 192.168.1.98 600c R Q [8081 DR NOERROR] A (9)grokdebug(9)herokuapp(3)com(0)

我查看了这个 Stackoverflow 答案：Logstash grok filter help - fixed position file and was trying to setup a grok filter to parse the columns 但它对我不起作用。我知道我有语法问题，但我似乎找不到一个很好的例子来引导我走向正确的方向。

这是我的 grok 过滤器： grok { match => [ "message", "(?<dns_date_n_time>.{21}) (?<dns_field_1>.{5}) (?dns_type>.{8}) (?<dns_field_2>.{19}) (?<dns_protocol>.{4}) (?<dns_direction>.{4}) (?<dns_ip>.{16}) (?<dns_field_3>.{4}) (?<dns_query_type>.{5}) (?<dns_field_5>.{7}) (?<dns_field_6>.{3}) (?<dns_flag>.{9}) (?<dns_field_7>.{2}) (?<dns_record>.{5}) (?<dns_domain>.{255})" ] }

任何人都可以帮忙吗？

4

1 回答 1

1

不要因为日志文件恰好具有固定宽度格式而挂断电话。从那以后，它在这里并没有真正的帮助。使用相关的 grok 模式解析文件，就像它是任何旧的日志文件一样。这适用于您提供的输入：

(?<timestamp>%{DATE_US} %{TIME} (?:AM|PM))\s+%{NUMBER}\s+%{WORD:dns_type}\s+
%{BASE16NUM}\s+%{WORD:dns_protocol}\s+%{WORD:dns_direction}\s+%{IP:dns_ip}\s+
%{BASE16NUM}\s+%{WORD:dns_query_type}\s+\[%{BASE16NUM}\s+%{WORD}\s+
%{WORD:dns_result}\]\s+%{WORD:dns_record}\s+%{GREEDYDATA:dns_domain}

也就是说，因为我不知道日志文件中的每一列意味着什么，这里使用的某些模式可能过于草率或过于严格。我已插入换行符以使答案更具可读性，但请确保在将其插入配置文件时正确连接事物。

于 2014-11-22T19:43:05.423 回答