问题标签 [logstash-configuration]

ruby 过滤器中的 ruby​​ 过滤器在 => 处引发错误。我对如何使它工作感到困惑。我应该从具有许多 json 对象的日志文件中删除字段。我正在删除带有很长键的条目。

关于 [url][queryString] 唯一可以确定的是它以 404 开头；或者钥匙很长。我需要删除这些钥匙。如果我使用下面的 ruby​​ 代码，它会给出无法将链接的哈希图转换为字符串异常。

我对 logstash 很陌生，我一直在尝试使用 logstash-output-csv 插件将现有日志转换为 csv 格式。

我的输入日志字符串如下所示，这是在我们的应用程序中编写的自定义日志。

我写了一个快速的正则表达式并使用 grok 插件将它添加到 patterns_dir 中。我的模式如下：

在不添加任何 csv 过滤器的情况下，我能够获得此输出。

这是我的配置，以便将 csv 作为输出

上面的配置似乎没有给出输出。我只想在 csv 文件中打印 ipaddress，但最后我需要在 csv 文件中打印所有捕获的模式。所以我需要如下输出：

128.111.111.111,cpu0,nsfw, ....

你能否让我知道我需要做的改变。?

提前致谢

编辑：

我按照建议使用工具http://grokconstructor.appspot.com/do/match#result修复了正则表达式

现在我的正则表达式过滤器如下所示：

如何捕获单个拆分并将其保存为 csv ？

谢谢

编辑：

我终于使用 File plugin 解决了这个问题。输出 {

文件{路径 => "./logs/sample.log" message_pattern =>"%{client},%{number}" } }

我想知道是否可以通过logstash仅将特定的日志消息发送到elasticsearch？例如，假设我的日志文件中有这些消息：

当 logstash/log forwarder 处理这个日志时，我想跳过第二行，是否可以指示它跳过任何带有关键字“ domainlist ”的日志消息？或者只允许使用关键字“ PASS ”的日志消息？

你知道 Logstash 有一个 Ruby 过滤器，它使我能够用 Ruby 编写代码，它通常包含在配置文件中，如下所示

现在我有两个 Jar 文件，我想将它们包含在我的过滤器中，以便可以根据我在这些 Jar 文件中的操作来处理我的输入。但是，我不能（显然）在 ruby​​ 代码中包含 Jar 文件。我一直在寻找解决方案。

我无法将数据推送到mongo Db使用logstash 我的配置文件看起来像：-

用于执行配置文件的命令是logstash -f ./conf/demo.conf

错误 ：-

希望尽快得到解决方法。谢谢

我正在使用 logstash 来解析一个值，例如：

|SERVLETSESSIONS=|

我要捕捉它的一点是：

\|SERVLETSESSIONS=(?<servlet_sessions>[0-9]*)\|

我没有收到错误，并且我的所有其他字段都匹配，但我认为我应该得到一个空值，如"servlet_sessions" => ""我的stdout { codec => rubydebug } }但我没有那里的servlet_sessions密钥。

有任何想法吗？

我有 Rails 应用程序和不同的环境，如开发、登台和生产，RAILS_ENV 设置了该值。我想在logstash中添加该字段以过滤环境，所以我的问题是我在哪里设置该变量以及如何在logstash配置或logstash转发器中设置

我的任务是在 cron 在 /var/log/cron.log 中写入错误时发送电子邮件通知。

我的 logstash-forwarder.conf：

logstash-input.conf：

logstash-filter.log：

logstash-output.conf：

现在所有事件都邮寄给我。我怎样才能从 cron.log 中只获取错误事件？它们是否由 add_tag 部分过滤？

我们有这个奇怪的 hacky 解决方法，涉及写入未来日期的索引。

我正在尝试设置logstash来做到这一点，但我什至不确定它是否可能。

有没有办法修改它，以便我同时写入未来 7 天的索引？