问题标签 [logstash-grok]

我正在尝试从压缩格式文件中读取文件以将其解析为输入。以下是文件格式gzip、zip、tar.gz

我提到了这两个链接，但没有得到太多信息。

http://ruby-doc.org/stdlib-1.9.3/libdoc/zlib/rdoc/Zlib/GzipReader.html

解析 Zip 文件并从文本文件中提取记录

我正在寻找如何编写编解码器来读取压缩文件的示例？还有其他读取压缩文件的替代解决方案吗？

谢谢德瓦

我想为两个不同的系统创建两个单独的索引，这些系统将数据发送到 udp 的 logstash 服务器设置 - syslog。在 Elasticsearch 中，我创建了一个名为 CiscoASA01 的索引和另一个名为 CiscoASA02 的索引。如何配置 Logstash 以过滤来自第一台设备的所有事件进入 CiscoASA01 索引，以及来自第二台设备的事件进入第二个索引？谢谢你。

我正在尝试从 logstash 中的 request_uri 字段中提取子字符串。Grok 将我的快速访问日志行拆分为几个字段（已经在工作），因此我在自己的字段中获取 request_uri。现在我想获取 uri 的根上下文。

但我不知道如何将 en、ApplicationName、fr 存储在自己的字段中（除其他字段外）。我在想这样的事情可能会奏效。

你能给我一个提示吗？

我尝试使用以下正则表达式：(a)?b(?(1)c|d)。这是来自http://www.regular-expressions.info/conditional.html的示例。

但我得到了错误。

我有这种格式的 php 日志

我试图通过logstash处理后发送到Graylog2。在这里使用这篇文章，我可以开始了。现在我想获得一些额外的字段，以便我的最终版本看起来像这样。

我有单个行的表达式，或者至少我认为这些应该能够解析，使用grokdebugger。像这样的东西：

但不知何故，我发现很难让它适用于整个日志文件。

请问有什么建议吗？此外，不确定日志文件中是否会出现任何其他类型的错误消息。但目的是为所有人获得相同的格式。任何建议如何处理这些日志以获得上述格式？

我尝试将 logstash 集成到我们的应用程序中，其中我在 custompattern 文件中包含以下模式。

我的logstash conf文件：

我的 jboss-logs.log 文件内容：

当我执行 logstash 时，我得到以下未解析日志的输出。

问题是日志中的“xff”键可能包含 ip 或“-”。我也尝试过以下模式。但他们也没有工作。

这种模式的解析器有什么问题？

我正在尝试在我的 logstash 配置中使用 grok 、 mutate和clone将日志拆分为两个事件。我的堆栈是一个非常标准的ELK（Elasticsearch、Logstash、Kibana）。

我正在创建一个格式如下的日志：

例如 ：

最终，我想要logstash中的两个事件，一个timestamp显然带有键，另一个带有相同的时间戳type=sensorA和and 。value=%{the value of the integer}value=%{value of the float}type=sensorB

到目前为止，我已经在以下配置中提供了此配置logstash.conf：

1.我的日志type=sensor在我的输入中被标记：

2.然后，我使用 grok、clone 和 mutate 来尝试拆分它们

但这并没有真正起作用，因为即使我得到两个不同类型的事件，它们都具有相同的值（始终是 sensorB 的值）。

怎么会 ？我有一种感觉，logstash.conf 文件并没有真正以线性方式读取，但我找不到任何解决方案。

有什么提示吗？我在这里错过了一些非常明显的东西吗？非常感谢

我的系统上安装了 logstash、kibana 和 elasticsearch，并使用了以下过滤器配置：

并在 kibana 上接收输出为：

但我需要一些如下字段：@timestamp @version _id _index _type _file 日志级别主机名主机IP 进程名称响应时间

我尝试添加时间戳，但它打印相同的字符串而不是动态结果

我在让 logstash 识别我的模式时遇到了一些问题，这似乎与 Grok 调试器 ( https://grokdebug.herokuapp.com/ ) 匹配。

这与另一个 StackOverflow 问题（logstash _grokparsefailure 问题）中发现的问题类似，但不幸的是，那里的解决方案似乎不起作用。

这些是我要匹配的日志：

我用来解析这些的模式分别是：

}

如您所见，这些模式在调试器上可以正常工作，但由于某种原因，在我的 kibana 仪表板上，它们显示为 _grokparsefailure 标记。我怀疑它与我转义字符或使用{QS}/{QOUTEDSTRING}.

谢谢

如何为时间格式 01/27/2015 09:32:44 AM 编写 grok 模式我尝试了 %{DATESTAMP:timestamp} 但它没有包含 AM，非常感谢任何帮助。