问题标签 [logstash-grok]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
performance - Logstash 监控工具
我们设置了logstash和elasticsearch的环境进行日志分析。我的硬件环境是高端的，尽管logstash的性能很慢。现在我们的目标是找到以下需要花费大量时间输入、过滤或输出的区域。所以我们决定监控它。到目前为止，我们有一个选择是使用 Java 线程转储分析。这是唯一的方法还是任何其他可用的选项。
配置文件详细信息
elasticsearch - 如何使用 mutate 或任何 logstash 过滤器删除带有 ABC:DEF.1 ABC:DEF.2 ABC:DEF.3 前缀的字段
我们试图删除/转换/替换前缀为 ABC:DEF 的字段。
Logstash.conf
但是上面的过滤器不起作用，日志中的消息字段被删除，但前缀为 ABC:DEF 的字段保持原样。
logstash - 将 Logstash 与 HTML 日志一起使用
我是 Logstash 的新手，试图用它来解析 HTML 日志文件。我只需要输出日志行，即忽略文件中也包含的前面的 JS、CSS 和 HTML。文件中的日志行如下所示：
我得到所有的行没有问题，但我想要一个只包含相关行的输出，没有 HTML 标签，看起来像这样：
我的 Logstash 配置是：
有没有办法做到这一点？到目前为止，我还没有找到任何相关的文档或示例。
谢谢！
logstash - _grokparsefailure 成功匹配
我开始使用 logstash 来管理 syslog。为了测试它，我从远程机器发送简单的消息并尝试用logstash解析它们。
唯一的 Logstash 配置，通过命令行使用：
我确实收到了日志并且它们被正确解析（who生成了一个字段）。同时，tags包含_grokparsefailure.
我发送的测试日志是hello rambo3. 我认为它是
grok 调试器也同意：
为什么要_grokparsefailure添加到标签中？
有趣的是，通过 pure 发送的相同数据tcp被相同的过滤器正确解析（_grokparsefailure不在标签中）
logstash - 如何匹配几种可能的日志事件格式？
我有来自一个日志源的事件，它可以有几种已知的格式。举个例子
我可以match通过
我还不习惯 logstash 的格式filter。为了考虑这些可能性中的每一种，我应该建立类似的东西
还是有更紧凑的东西？（例如具有关联映射的事件的可能模式列表）
logstash-grok - Logstash 1.4.2 grok 过滤器：_grokparsefailure
我正在尝试解析此日志行： - 2014-04-29 13:04:23,733 [main] INFO (api.batch.ThreadPoolWorker) 此运行的命令行选项： 这是我使用的 logstash 配置文件：
请如果有人可以帮助我找到 gork 模式的问题所在。我试图在http://grokdebug.herokuapp.com/中解析该行，但它仅解析时间戳、%{WORD} 和 %{LOGLEVEL} 其余部分被忽略！
elasticsearch - Logstash：如何将文件名中的日期/时间用作导入字段
我有一堆名为“XXXXXX_XX_yymmdd_hh:mm:ss.txt”的日志文件 - 我需要在添加到 Logstash 的字段中包含文件名中的日期和时间（单独的字段）。
任何人都可以帮忙吗？
谢谢
logstash - logstash 输出未显示所需的时间戳
我正在尝试从 logstash 输出中获取所需的时间戳格式。如果我在 syslog 中使用这种格式，我无法理解
请分享您对转换为 _source 字段中的其他格式（如 Yyyy-mm-ddThh:mm:ss.sssZ 格式）的想法？
我在 syslog 文件中使用此代码
谢谢
logstash - 自动映射系统日志“消息”部分中的字段
如果它们遵循格式，是否可以自动映射我将通过 syslog 接收的事件的字段field1=value1 field2=value2 ...？一个例子是
（请注意，字段不同，并不总是存在）
我正在考虑的解决方案之一是将系统日志“消息”部分作为 JSON 发送，但我不确定是否可以自动解析它（当日志的其余部分为系统日志格式时）。我目前的方法失败了，_jsonparsefailure但我会继续尝试
elasticsearch - 带有 java 堆栈跟踪的 logstash 多行编解码器
我正在尝试用 grok 解析日志文件。我使用的配置允许我解析单行事件，但如果是多行的（使用 java 堆栈跟踪）则不能。
谁能告诉我我的配置文件做错了什么？谢谢。这是我的日志文件示例： - 2014-01-14 11:09:36,447 [main] INFO (support.context.ContextFactory) 创建默认上下文 - 2014-01-14 11:09:38,623 [main] 错误（支持.context.ContextFactory) 使用用户 cisuser 和驱动程序 oracle.jdbc.driver.OracleDriver java.sql.SQLException: ORA-28001: 密码已过期oracle.jdbc.driver.SQLStateMapping.newSQLException(SQLStateMapping.java:70) 在 oracle.jdbc.driver.DatabaseError.newSQLException(DatabaseError.java:131) **
*> 编辑：这是我正在使用的最新配置
https://gist.github.com/anonymous/9afe80ad604f9a3d3c00#file-output-L1 *
**