问题标签 [logstash-grok]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
variables - grok logstash 中的 EVAL
我正在尝试在 grok 过滤器中添加新文件，该文件应该是由 grok match 命令提取的字段的算术表达式。
不幸的是，无法找出正确的语法……有人吗？
我找到了{(8*6)}应该返回 48 的地方，但是变量而不是常量呢？
得到了结果，但EVAL显然不能正常工作：
非常感谢，尤里
logstash - logstash 的 grok 的语法列表
grok 模式的语法是 %{SYNTAX:SEMANTIC}。如何生成所有可用语法关键字的列表？我知道我可以使用 grok 调试器从文本中发现模式。但是有一个我可以浏览的列表吗？
regex - 使用 grok 将日志文件名添加为 logstash 中的字段
我正在使用Grok & Logstash 将访问日志从 Nginx 发送到 Elastic 搜索。我正在向 Logstash 提供我所有的访问日志（使用通配符，效果很好），我想获取文件名（确切地说是其中的一部分）并将其用作字段。
我的配置如下：
但这似乎不起作用：该app字段已添加，但值为%{app}（未替换）。
我尝试了不同的东西，但无济于事。我可能遗漏了一些东西......有什么想法吗？
非常感谢
amazon-s3 - Logstash：使用 s3 时如何使用过滤器匹配文件名
我是logstash的新手。我有一些日志存储在 AWS S3 中，我可以将它们导入到 logstash。我的问题是：是否可以使用 grok 过滤器根据文件名添加标签？我尝试使用：
这是行不通的。我猜原因是“路径”仅适用于文件输入。
这是我的 S3 存储桶的结构：
我正在使用这个输入配置：
我想要的是，对于任何日志消息：
“A/2014-07-02/a.log”：它们将有标签 ["A","a"]。
“A/2014-07-02/b.log”：它们将有标签 ["A","b"]。
“B/2014-07-02/a.log”：它们会有标签 ["B","a"]。
“B/2014-07-02/b.log”：它们将有标签 ["B","b"]。
对不起我的英语......
elasticsearch - 从 logstash 中的 AWS S3 输入路径中提取字段
是否可以根据存储桶路径添加字段/标签？我尝试使用 grok 但它没有用。
logstash - 多个 Grok 过滤器不存储第一个过滤器匹配记录
我正在使用 Logstash 来解析 postfix 日志。我主要专注于从 postfix 日志中获取退回的电子邮件日志，并将其存储在数据库中。
为了获取日志，首先我需要找到与我的 message-id 对应的 postfix 生成的 ID，并使用该 ID 查找电子邮件的状态。对于以下配置，我能够获取日志。
我正在使用以下 if 条件来存储与模式匹配的日志：
如您所见，我使用两种模式从一个日志文件中查找对应的两个不同日志。
现在，我想根据标签区分这两种模式。所以我修改了我的配置如下：
现在，它只存储 %{POSTFIXCLEANUP} 模式日志。如果我颠倒顺序，它只存储 %{POSTFIXBOUNCE} 模式。
因此，在删除 if 条件后，我发现从第一个过滤器解析的消息具有“_grokparsefailure”标签和第一个过滤器标签，因此它没有存储该记录。
谁能告诉我需要做些什么来纠正这个问题？我有什么错误吗？
logstash - Logstash Grok 不会更改 @timestamp
我正在使用以下过滤器尝试 Grok
有了这个数据
它匹配，但不会更改@timestamp。
怎么了？我已经花了几个小时在玩这个，但我认为没有任何东西可以让它工作。
如果这很重要，请运行 Windows...
logstash - logstash _grokparsefailure 问题
我在 grok 解析方面遇到问题。在 ElasticSearch/Kibana 中，我匹配的行带有标签 _grokparsefailure。
这是我的logstash配置：
我正在尝试匹配的线条/模式：L 08/02/2014 - 22:55:49：日志文件已关闭：“完成”
我在http://grokdebug.herokuapp.com/上尝试了调试器，它工作正常，我的模式匹配正确。
我要解析的行可能包含双引号，我已经读过 grok 处理和转义它们的方式可能存在问题。所以我试图改变以用 ' 替换 " 以避免问题但没有运气。
有任何想法吗 ？我该如何调试呢？
谢谢
json - 在 logstash 中使用 grok 解析多行 JSON
我有一个格式的 JSON：
我正在尝试使用 logstash 解析这个 JSON。基本上，我希望logstash 输出是可以使用kibana 分析的键：值对列表。我认为这可以开箱即用。从大量阅读中，我知道我必须使用 grok 插件（我仍然不确定 json 插件的用途）。但我无法获得所有领域的事件。我得到了多个事件（甚至对于我的 JSON 的每个属性都有一个）。像这样：
我应该使用多行编解码器还是 json_lines 编解码器？如果是这样，我该怎么做？我是否需要编写自己的 grok 模式，或者是否有一些通用的 JSON 可以给我一个带有键的事件：我为上面的一个事件获得的值对？我找不到任何说明这一点的文档。任何帮助，将不胜感激。我的 conf 文件如下所示：
logstash - 如何让 Logstash 使用自己的日志
基本上，我希望 LogStash 使用自己的日志并填充诸如 、 等字段@timestamp以level在 Kibana 中使用。
我当前的配置如下所示：
这似乎很难做到——无需重新编写 Grok 过滤器。LogStash 真的不能消费自己的日志吗？（很难谷歌，我找不到任何东西。）
或者这首先是错误的方法？
LogStash 的示例日志输出：