0

我需要帮助来编写 logstash 的过滤器。我的 logstash 配置为读取 syslog。

日志消息如下，

Mar 14 15:11:11 localhost 192.168.235.136 {'status': 'True', 'endpoint': '/search/basic/', 'parameters': <QueryDict: {u'fileName': [u'Adware']}>, 'company': u'Global first', 'matched threat scape': [u'Enterprise IT Management and Investment'], 'request id': 11, 'user id': 2L, 'user': u' ', 'matched report id': [u'Intel-732102']}

我想在 kibana 上有过滤器，基于我在消息中传递给 logstash 的 json 键。

我无法编写过滤器来从我的日志中获取参数。我也尝试过http://grokdebug.herokuapp.com/来生成过滤器。它给了我一个我不知道如何使用它的模式。

{%{QS:'status'}: %{QS}, %{QS}: %{QS}, %{QS}: <QueryDict: {u%{QS}: %{SYSLOG5424SD}}>, %{QS}: u%{QS}, %{QS}: %{SYSLOG5424SD}, %{QS}: 11, %{QS}: 2L, %{QS}: u' ', 'matched report id': %{SYSLOG5424SD}}
4

1 回答 1

1

对于日志输入：

3 月 14 日 15:11:11 localhost 192.168.235.136 {'status': 'True', 'endpoint': '/search/basic/'}

Grok 模式是

%{CISCOTIMESTAMP:JsonTimestamp} localhost %{IP:JsonIP} {'status': '%{WORD:JsonStatus}', 'endpoint': '%{UNIXPATH:JsonPath}'}

请在其余字段中遵循类似的模式方法。您可以在以下位置找到参考资料：

https://github.com/elasticsearch/logstash/blob/master/patterns/grok-patterns

请发布您在应用 grok 模式时遇到困难的领域，以及以下详细信息：

i) 哪些字段是变化的，哪些是常数。

在上面的示例中，JsonTimestamp、JsonIP、JsonStatus 和 JsonPath 将被索引。

请在下面找到以上示例的完整 grok 模式：

%{CISCOTIMESTAMP} localhost %{IP} {%{QS}: %{QS}, %{QS}: %{QS}, %{QS}: <QueryDict: {u%{QS}: %{SYSLOG5424SD}}>, %{QS}: u%{QS}, %{QS}: %{SYSLOG5424SD:matched_threat_scape}, %{QS}: %{NUMBER:request_id}, %{QS}: %{NUMBER:user_id}L, %{QS}: %{WORD:user}%{QS}, %{QS}: %{SYSLOG5424SD:matched_report_id}

修改后的更改是 %{NUMBER:request_id}, %{NUMBER:user_id}L, %{WORD:user}, %{SYSLOG5424SD:matched_report_id} 因为 11 和 2L 不在引号中，它们代表数字，我们使用 NUMBER 来标识数字令牌，用户表示为 WORD 令牌

于 2014-03-18T09:15:19.943 回答