问题标签 [logstash]

我正在使用 Logstash（使用 Kibana 作为 UI）。我想从我的日志中提取一些字段，以便我可以在 UI 的 LHS 上按它们进行过滤。

我的日志中的示例行如下所示：

在我的logstash conf文件中，我放了这个：

理想情况下，我想提取 Comp40_db40_3720_18_25（位数可能不同，但在每个部分中始终至少为 1，以_分隔）和 client_login（也可以是 client_logout）。然后，我可以搜索 CLIENT_NAME=Comp40... CLIENT_NAME=Comp55 等。

我是否在我的配置中遗漏了一些东西以使其成为我可以在 Kibana 中使用的字段？

谢谢！

我正在为 logstash 使用示例 upstart 脚本，但在编写 pid 文件以供 monit 在 /var/run/logstash.pid 使用时遇到问题

当我使用“echo $$ > /var/run/logstash.pid”时，它会将错误的 pid 值写入文件，我认为它通常是 fork 之前的值。有针对这个的解决方法吗？

我是使用 logstash 的新手，我正在尝试启动 web ui，但似乎无法触发它。每次尝试运行 web ui 时都会出现异常。这是我得到的长期例外。我正在使用 Windows 7。非常感谢任何建议。我在stackoverflow上尝试了以下操作，但在弄清楚如何为'cp'和'rm'命令工作实施Nathan的解决方案时遇到了问题。Logstash Web UI 无法启动。

它有一个日志文件，其中存储带有时间戳和 json 消息的事件。例如：

时间戳 {"foo": 12, "bar": 13}

我想将 json 部分中的键（foo 和 bar）分解为 Logstash 输出中的字段。

我知道我可以将 Logstash 文件过滤器中的格式字段设置为 json_event 但在这种情况下我必须在 json 中包含时间戳。还有一个 json 过滤器，但它添加了一个具有完整 json 数据结构的字段，而不是使用键。

任何想法如何做到这一点？

根据本教程，我刚刚在我的 Ubuntu 服务器上安装了 Logstash，我的 iptables 只允许 80 和 22 个端口。因此，当 Logstash 启动时，我在日志中收到以下 iptables 错误。

什么是 224.2.2.4 地址，我需要什么来防止此错误？

我目前正在尝试从我的日志文件中过滤特定的行。我在日志文件中的行具有以下模式。

其中第一个是日期、时间、应用程序名称和日志级别（警告、错误、跟踪等），然后是错误消息或警告消息或任何其他消息。

所以我想要得到的只是日志级别错误，而不是其他日志级别。我有以下我正在玩的东西，但我根本没有得到控制台输出。我想我在 grep 的某个地方犯了一个错误来检查它是否 E(Error)

我正在尝试处理包含纯消息和 json 格式消息的日志文件中的条目。我最初的想法是用 grep 查找用大括号括起来的消息，并让它们由另一个链式过滤器处理。Grep 工作正常（与普通消息处理一样），但随后的 json 过滤器报告异常。我在下面附上了 logstash 配置、输入和错误消息。

你有什么想法可能是什么问题吗？对于处理来自同一文件的纯格式和 json 格式的条目有任何替代建议吗？

非常感谢，约翰内斯

错误信息：

logstash 配置：

来自日志文件的输入（仅一行）：

我有一个 logstash 代理来监控我们的自动测试的日志转储 -

在每批测试开始时，会启动一个代理，监听一个特定的文件夹，最后它应该停止。

问题出在最后——我需要以某种方式向logstash代理发出测试已完成并杀死自己的信号。

我怎样才能做到这一点？配置代理的方法是什么，以便当它从测试中看到某个日志消息时它会杀死自己？

我的配置文件：

假设您有 2 种非常不同类型的日志，例如技术日志和业务日志，并且您想要：

• gelf使用输出将原始技术日志路由到 graylog2 服务器，
• json 业务日志使用专用elasticsearch_http输出存储到 elasticsearch 集群中。

我知道，Syslog-NG例如，配置文件允许定义几个不同的输入，然后可以在分派之前单独处理这些输入；似乎Logstash无法做到的事情。即使一个实例可以使用两个特定的配置文件启动，所有日志都采用相同的通道并应用相同的处理......

我是否应该运行尽可能多的实例，因为我有不同类型的日志？

我找到了一篇关于使用 nginx custom log format for logstash 的好文章。在一个主题评论中有：

注意：最终用户可以设置两个（推荐人，用户代理）和四个（请求方法，remote_user）之间，因此可能导致JSON无效（即，将用户代理设置为“}）。

只要 nginx 没有明确的 JSON 支持，我建议不要手动 > 构建 JSON 并坚持使用 logstack 很好支持的组合日志。

我应该如何使用自定义日志格式来防止这个问题？