问题标签 [logstash-configuration]

我正在尝试为扩展的 apache 日志过滤器定义配置一个 logstash 过滤器。它基本上是带有一些附加字段的“组合”LogFormat，这里是 apache 日志格式定义：

这是一个示例日志文件内容：

我配置了 logstash-forward 来发送文件：

/etc/logstash/conf.d我在名为的文件中配置了带有 grok 模式的 logstash 服务器13-apache-extended.conf：

我在https://grokdebug.herokuapp.com/中对其进行了测试，看起来还可以：

日志样本：

图案：

但是当我在主服务器上重新启动 logstash 时，出现错误：

任何想法都非常感谢。

谢谢。

我正在使用带有 RemoteSyslogAppender 的 log4net 将日志发送到 logstash/elasticsearch。appender 会自动在消息前添加“<14>”，从而无法对堆栈跟踪进行分组。

在 log4net 发送的每条消息中，该数字都位于标识值之前。我尝试添加具有空值的“身份”标签，该标签已删除消息的“身份”，但 <14> 仍然存在。

这是我当前的附加程序配置

使用这种配置，我仍然在“身份”值（一些消息）之前得到 <14>

logstash 配置在这里无关紧要，但如果有帮助，我可以稍后包含它，我现在正在使用 {%GREEDYDATA}，一旦我弄清楚如何对它们进行分组，我将着手正确解析它。

谢谢

我有一些logstash输入，我使用document_id删除重复项。但是，大多数输入没有document_id. 以下是实际的document_id通过，但如果它不存在，它会被接受为字面意思%{document_id}，这意味着大多数文档被视为彼此的副本。这是我的输出块的样子：

我想我也许可以在输出中使用条件。它失败了，错误在代码下方给出。

我尝试了一些“if”语句，但它们都失败了，这就是为什么我认为问题在于该块中有任何类型的条件。以下是我尝试过的替代方案：

我有日志文件进入 ELK 堆栈。我想复制一个字段 (foo) 以便对其执行各种突变，但是字段 (foo) 并不总是存在。

如果 foo 不存在，那么 bar 仍然被创建，但被分配了文字字符串"%{foo}"

仅当字段存在时，如何执行突变？

我正在尝试做这样的事情。

试图通过logstash解析特定的日志格式，我真的在寻找一些指针。我已经让logstash读取文件并将输出发送到ElasticSearch，但我需要将日志分解为其他字段，以便我实际上可以对数据做一些事情..

我的日志采用以下格式，我正在尝试捕获标签之间的值

关于我应该如何解析这个文件的任何想法......

谢谢

我现在发现了“mutate”和“gsub”，但由于某种原因，我收到以下错误。这是我的过滤器。

过滤器{如果[类型] ==“xcp-stats”{

每次通过 --configtest 参数解析时都会收到以下错误。

错误：过滤器 {

有任何想法吗

我有我通过logstash 发送到ES 的JSON 文件。我想删除 JSON 中的 1 个字段（它是深字段） - 仅当值为 NULL 时。

JSON的一部分是：

文件中的部分logstash.conf是：

这当然是在过滤器内部。

如果值为空，如何删除此字段？

我的本地文件夹中有一些 gem 文件。如何将它安装到我的 Logstash 1.5.0 中。我已经在logstash 1.4.2 中安装了它，但我不知道如何在1.5.0 中安装它。我在较新版本的 logstash 1.5.0 中找不到任何输入、输出和过滤器文件夹来检查我的可用 gem。

如果有人帮助我解决这个问题，那对我来说将是一个很大的帮助。

尝试在 Mac OS X 10.10.3 Yosemite 上使用 ElasticSearch(v1.5.2)-Logstash(v1.4.2)-Kibana(v4.0.2) 配置 suricata v2.0.8。

suricata.yaml：

logstash.conf：

Suricata 将所有事件成功记录到eve.json中。当我在浏览器中打开 kibana 时，我看不到仪表板或来自 suricata 的任何信息......所以我假设 logstash 没有从 eve.json 读取数据或没有将数据解析到 elasticsearch（或两者）......有什么方法可以检查发生了什么？

当我对消息使用 json 过滤器时，它会神奇地消失 - 永远不会到达弹性搜索。当我卸下过滤器时，一切正常。

样品_source-

我使用节点应用程序node-lumberjack-protocol来发送消息。

这就是我的过滤器的样子

我究竟做错了什么？

编辑

当我给过滤器一个target，json消息被解析并添加到目标字段。但我不知道那是什么。我希望将 JSON 的字段添加到事件的根目录中。阅读 json 过滤器的文档，我想如果我省略 ，就会发生这种情况target，不幸的是，似乎并非如此。

定义放置解析数据的目标字段。如果省略此设置，JSON 数据将存储在事件的根（顶层）。

我只想将新创建的日志从logstash-forwarder 转发到logstash 服务器 我有一个logstash-forwarder.conf文件

我想知道是否有类似“start_position => end”的选项可以添加到这个配置文件中。我还尝试在运行 logstash-forwarder 时使用 -tail=true。它需要快照，但收割似乎没有注册事件。它仅在没有 -tail 命令行选项或给出 -tail=false 时才注册事件，这会从头开始转发所有日志。