问题标签 [logstash-logback-encoder]

我开始用logstash. 当前设置包括一个使用logback日志机制的 Java 服务器logstash-logback-encoder，并以简洁的 JSON 表示形式输出数据。基础工作得很好。

我想在单独的字段中以 JSON 格式分隔其他数据（因此 JSON 的每个键都以自己的字段结尾）。提供了一种在字段logstash-logback-encoder中输出此类数据的机制。json_mesage然而，这个 JSON 字符串被放置到一个 JSON 数组中。请参阅此处为更好阅读而格式化的示例。

我尝试使用简单的 JSON 过滤器解析传入的 JSON。在这里查看我的配置：

但是，这会导致 logstash 日志中出现以下错误。数组中的 JSON 字符串根本无法处理。

有没有办法在解析之前从数组中提取 JSON 字符串？任何帮助是极大的赞赏。谢谢。

我想以 json 格式接收日志消息。而且我还需要将以空格开头的日志（在同一封电子邮件中发送堆栈跟踪）与以前找到的日志合并。

从官方网站文档中，第一个作业所需的编解码器是“json”。而对于第二个工作，所需的编解码器是“多行”。

如何同时完成这两项工作？

这是一个示例日志

这是一个示例堆栈跟踪 -

我想添加以“at”开头的行以与之前的日志消息合并。

我正在尝试从压缩格式文件中读取文件以将其解析为输入。以下是文件格式gzip、zip、tar.gz

我提到了这两个链接，但没有得到太多信息。

http://ruby-doc.org/stdlib-1.9.3/libdoc/zlib/rdoc/Zlib/GzipReader.html

解析 Zip 文件并从文本文件中提取记录

我正在寻找如何编写编解码器来读取压缩文件的示例？还有其他读取压缩文件的替代解决方案吗？

谢谢德瓦

我有一个使用 SLF4J、Logback 和logstash-logback-encoder创建的 webbapp 的 java 日志文件，用于logstash 1.4.2。虽然各种配置已成功从日志中检索数据，但实际上都没有返回正确的 json。根据我阅读的每个指南，以下配置应该可以工作，但不能。

日志样本

/etc/logstash/conf.d/01-lumberjack-input.conf

/etc/logstash/conf.d/10-syslog.conf

/etc/logstash/conf.d/30-lumberjack-output.conf

/etc/logstash-forwarder（其他机器）

我能够在 Kibana 中获得的最佳回报（如果有任何回报）如下所示：

显然，json转换逻辑不能正常工作，那我错过了什么？

ELK 堆栈是使用本指南配置的。

我正在尝试使用 ELK 堆栈实现集中式日志服务器：Elasticsearch、Logstash、Kibana。它将接收来自许多应用程序的日志。基本上我有一个 Tomcat 应用程序，它使用具有以下配置的 logback：

所以理论上这应该通过 TCP 发送所有 logback 日志......在 my_remote_host 我部署了 elasticsearch、logstash 和 kibana。它们似乎都有效。这是logstash的配置：

如果我在我的 logstash 实例中向标准输入输入内容，它会成功索引我的输入。此外，如果我通过 http 向 my_remote_host:5000 发送请求，它会成功记录它接收到的数据。

问题是 logback 似乎没有使用 LogstashTcpSocketAppender 发送任何数据。即使使用简单的 SocketAppender，它也不起作用......我做错了什么吗？它似乎出于某种原因拒绝写入该套接字，但它没有抱怨任何事情。

我目前正在尝试使用logback-logstash-encoder将我的日志写入两个不同的 logstash 实例。这两个实例都将写入同一个 Elasticsearch 实例。

我正在努力寻找一种在两个logstash 实例之间进行负载平衡的方法。

在阅读了 logback 文档和 log4j2 文档之后，很明显 logback-logstash 使用的 TcpAppender 不支持“负载平衡”url（即 url1、url2）。在 log4j2 中，我可以使用 FailoverAppender 来近似这种行为。

logback 中是否有类似的功能？或者我是否需要建立另一个服务来为 logback 进行负载平衡？

我正在使用 LogstashTcpSocketAppender 和由 logstash-logback-encoder 提供的 LogstashEncoder 编码器。我们使用 elasticsearch 作为后端的 logstash

我想了解此配置在某些故障情况下的行为方式，例如-

1. Logstash 已关闭。我想使用 logback 记录连接错误

2. Logstash 最初是启动的。一些日志成功插入到弹性搜索中。日志记录时 logstash 下降。剩余​​的日志记录事件呢？TCP appender 尝试重新连接到 logstash 服务器的频率。如果再次建立连接，是否会记录剩余的日志事件？在这种情况下ringbuffer的作用是什么？如果剩余的日志事件将在缓冲区中，是否有任何超时，如果连接无法建立，所有日志事件将被丢弃？

3. Logstash 已启动，但 elasticsearch 已关闭。

我是使用 logback 和 logstash 记录的新手。在此先感谢您的帮助。

听从建议https://blog.codecentric.de/en/2014/10/log-management-spring-boot-applications-logstash-elastichsearch-kibana/我已经设置了logstash编码器+logstash转发器将所有内容推送到我的logstash守护进程并最终索引 ElasticSearch 中的所有内容。

这是我的配置：

日志存储.xml

logstash-forwarder.conf

logstash.conf

一切正常，日志保存在 ElasticSearch 中。

在这一点上，我希望能够指定 ElasticSearch 索引的其他字段，例如日志级别。在@message 内容中搜索是否存在错误或警告并没有多大用处。

我怎样才能做到这一点？我应该更改哪个配置以使级别显示为 ElasticSearch 中的索引字段？

我正在使用 logstash-logback-encoder 以 json 格式打印日志。

我的logback.xml样子如下：-

有人可以让我知道如何level以小写形式显示所有内容error，而不是默认的ERROR和WARNaswarning吗？

更新CustomLogLevelJsonProvider- 我按照 Zakhar 的建议创建了一个：-

更新logback.xml

现在我看到两个level：-

我正在尝试创建一个轮询 ActiveMQ jolokia 端点的 logstash 管道。我想收集代理上队列的所有指标。我有以下管道。

我的 jolokia 回复是这种格式。

我希望能够将两个队列目标拆分为两个不同的文档，然后将它们保存到 ES。

目前我收到一个关于不能包含“。”的错误。