问题标签 [grok]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
297 浏览

nginx - Logstash Grokked 数据未到达 ElasticSearch

我有一个简单的 Logstash 1.4.1 设置,数据在标准输出中似乎正确,但在 ES/Kibana 中,“消息”字段没有被覆盖。

logstash.conf

NGINX 模式

标准输出

我究竟做错了什么?我该如何调试?

编辑

获取 API 显示字段位于未编入索引的 _source 中。该怎么办?

0 投票
2 回答
797 浏览

regex - Logstash 配置缺少异常日志的最后一个异常

我使用 logstash 来解析通过 TCP 通过网络发送的异常日志。由于异常日志是多行的,我使用多行过滤器来解析数据。不幸的是,最后一个正在发送的异常日志无法识别,因为 logstash 不知道它在哪里结束(由于多行模式)。甚至有可能识别它的结束位置吗?异常的结束可以是任何东西(那么如何进行正则表达式呢?)。或者是否有可能以某种方式知道,因为 TCP 流结束了,这意味着异常也已经结束?

这是我的logstash配置文件:

这是一个通过 TCP 发送异常的示例 PHP 脚本:

运行此示例只会将第一个异常识别为事件日志。一旦下一个时间戳到达,第二个异常就会被识别出来,在这种情况下不会,因为数据流结束了。

0 投票
1 回答
1063 浏览

django - 用于解析 django 异常的 Logstash conf 文件

我一直在尝试使用 logstash、elastic search 和 Kibana 来监控我的 django 服务器。我已将conf文件设置如下

但是记录的消息太长,找不到解析它的方法。任何帮助表示赞赏

0 投票
1 回答
1078 浏览

logstash - 如何使用 logstash 来识别作为哈希的消息

全部

我正在使用 logstash 从远程服务器发送日志。我得到的消息是这样的哈希类型:

那我怎么写 grok 部分,我到处搜索文档,但我仍然不知道如何......谢谢!

0 投票
1 回答
273 浏览

grok - 如何将时间戳作为 Grok Logstash 中的唯一分隔符?

我有一个如下的日志条目:-

为了使用 grok 解析它,我在 logstash 中使用了以下模式:-

上面的代码不起作用,我收到以下消息:-

这不是预期的,我需要一条消息:-

换句话说,有没有办法确保只有时间戳作为分隔符?

0 投票
1 回答
114 浏览

plone - Plone/Grok - 在使用“zopeskel plone”构建的产品中,grok 会与 plone.directives 冲突吗?

我正在尝试按照 Plone 文档站点上的教程构建控制面板。 http://docs.plone.org/develop/plone/functionality/controlpanel.html

但是,我开始使用(从 src 文件夹)../bin/zopeskel plone my.product 创建产品,而不是使用 dexterity 选项创建产品。当它询问我想要什么模式时,我确实选择了简单选项,当它询问我是否要创建 GS 配置文件时,我确实选择了是。

我确保在 configure.zcml 中包含 grok

按照说明操作后,我尝试运行快速安装来安装产品,但它给了我错误:

参考他们教程的 settings.py 文件中的行

我将 plone.app.registry 添加到 setup.py 文件中的 install_requires 位,并确保在 configure.zcml 文件中进行更改以包含 只是为了试验,我确实将“plone.app.dexterity”添加到install_requires,但我仍然遇到同样的错误。

grok 是否与 plone.directives 冲突?如果是这样,我该如何解决这个问题,或者我必须使用 deterity 而不是 plone 作为创建产品的选项?如果 grok 不冲突,那么问题可能是什么?

附带说明一下,该教程似乎确实是为了使用灵巧性来创建产品,但我不确定这是否是问题所在。

0 投票
1 回答
850 浏览

logging - logstash 是否支持正则表达式中的 If-Then-Else 条件?

我尝试使用以下正则表达式:(a)?b(?(1)c|d)。这是来自http://www.regular-expressions.info/conditional.html的示例。

但我得到了错误。

0 投票
0 回答
372 浏览

elasticsearch - 如何使用 mutate 或任何 logstash 过滤器删除带有 ABC:DEF.1 ABC:DEF.2 ABC:DEF.3 前缀的字段

我们试图删除/转换/替换前缀为 ABC:DEF 的字段。

Logstash.conf

但是上面的过滤器不起作用,日志中的消息字段被删除,但前缀为 ABC:DEF 的字段保持原样。

0 投票
1 回答
709 浏览

logstash - 将日志文件logstash中的可序列化java对象解析为JSON

我正在用 grok 解析一些日志文件,但我有以下跟踪:

此跟踪是一个序列化的 java 对象。

我的目标是将此字符串解析为 JSON,如下所示:

我怎样才能做到这一点?

问候

0 投票
1 回答
3335 浏览

logstash - _grokparsefailure 成功匹配

我开始使用 logstash 来管理 syslog。为了测试它,我从远程机器发送简单的消息并尝试用logstash解析它们。

唯一的 Logstash 配置,通过命令行使用:

我确实收到了日志并且它们被正确解析(who生成了一个字段)。同时,tags包含_grokparsefailure.

我发送的测试日志是hello rambo3. 我认为它是

grok 调试器也同意:

在此处输入图像描述

为什么要_grokparsefailure添加到标签中?

有趣的是,通过 pure 发送的相同数据tcp被相同的过滤器正确解析(_grokparsefailure不在标签中)