问题标签 [grok]

使用 Grok 解析动态 xml 结构的日志内容是否可行，例如：

其中“tag_*”是字段名称，“contents”是实际内容。因此，解析后的消息如下所示：

我正在将 Logstash (ELK) 设置为我们的中央日志记录服务器，到目前为止，我对简单的过滤器很满意，但是我们交换机的最新版本并不那么容易。这是一条典型的线路：

这是我正在研究的模式之一：

我挂了两个关键问题：

1. [syslog@9 s_id =\" BRD-STACK :5143\"] 部分包含交换机的主机名。其他一切都是静态信息，我想丢弃（非粗体）。
2. 在条目的末尾，“args”部分可以有可变数量的“arg”元素。这个有 2 个，根据消息，我也看到了 1 和 3。我需要其中包含的信息。

有任何想法吗？

对于它的价值，这是我上次玩的整个过滤器：

我正在使用 0.6.2 版本的 dropwizard，我想在 Logstash 上发布所有请求日志并对其进行一些分析。LogStash 具有 apache 日志的 grok 模式。COMBINEDAPACHELOG

但是当我使用它时，我得到一个 grok 解析失败。有人知道 Dropwizard 请求日志的 grok 模式是什么吗？

这些是我的一些请求日志

我正在从 couchdb 日志中解析时间戳。在 stdout 中查看时，整个时间戳得到正确处理，但是在 elasticsearch 之上使用 Kibana 查看时会观察到 _grokparsefailure。

前日志：

我在解析日期格式时遵循了这些链接：http: //logstash.net/docs/1.4.2/filters/date，http : //joda-time.sourceforge.net/apidocs/org/joda/time/格式/日期时间格式.html

我的解析代码是：

我的输出代码是：

其中 Log_Time =[Thu, 31 Jul 2014 17:14:28 GMT]输出时间戳为 "@timestamp":"2014-07-31T17:14:28.000Z"

标准输出下显示的数据是 "@timestamp":"2014-07-31T17:14:28.000Z" 没有任何 grok 解析错误，但在 Kibana 中，解析时间以时间戳的形式出现，并且存在 _grokparseerror 标签。我不明白为什么标准输出和 Kibana 之间存在这种差异。我尝试删除所有弹性搜索索引和 .sincedb 文件，但仍然存在错误。

如果您有任何想法，请提供帮助

我有一个日志文件，其日期格式如下

如何使用 logstash 日期过滤器解析给定的日期格式？

我在将日期映射到 @timestamp 时遇到问题

这是日志格式（0 - 12 代表 hr - 下面是 8 PM）

2014 年 9 月 4 日 8:14:12

我将其过滤如下-

%{DATESTAMP:StatshttpDate}

我在下面都试过了，似乎都不起作用。日期 { 匹配 => [ "StatshttpDate", "MM/dd/yyyy h:mm:ss" ] 目标 => "@timestamp" }

我有一个自定义的 plone 敏捷内容类型，它是其他敏捷类型的容器。我添加了一个额外的视图来递归地总结这个类型的内容。

我需要匿名用户能够像往常一样导航到默认视图，然后还可以看到指向此摘要视图的链接。我不想从头开始重写默认视图，而只是添加一个简单的超链接。我已经阅读了敏捷手册，但我似乎无法实现如何完成我正在尝试做的事情。

有什么建议吗？

我对 Logstash 中的 grok 过滤器有疑问。假设我有如下两条日志消息：

我的过滤器如下：

正如您可能猜到的那样，过滤器匹配两条日志消息。但是seu13在第二个日志消息中也被命名为pwuId. 你知道是否有办法检查字段内部并相应地给出适当的名称？

我注意到有些人在 grok 匹配谓词中使用第三部分，比如

前 2 的含义很明显，我可以猜到第三是结果的明确类型，但我找不到关于第三部分是什么的全面解释。

我检查了Logstash 文档和Grok 的文档，看不到任何综合语法描述的痕迹。

有参考吗？

更新：

这是一个有效且语法正确的示例：

对于配置文件：

的输出12345是：

如果您删除:float，则它将更改为

至少 logstash v1.4.2 是这样

我使用logstash 已经有一段时间了，在apache 访问日志和偶尔的mysql 日志方面取得了巨大的成功。我刚刚开始将它用于 qmail 日志，但想要一种更好的方法来根据 qmail ID 对 qmail 日志进行分组，并能够跟踪退回或其他传递失败和状态。我见过一些关于 postfix 但不是 qmail 的东西。

有人在qmail中使用过这样的logstash吗？您的 logstash 配置看起来如何？您的 Kibana 仪表板看起来如何？

任何帮助，将不胜感激。

以下是一些 qmail 日志的示例：

理想情况下，我希望能够跟踪这些日志的整个解剖结构。这是我现在在logstash中的输入和过滤器：