问题标签 [filebeat]

我们将开始在 AWS elasticbeanstalk 上使用 docker 部署我们的 java 应用程序，我们想要集中式日志记录并将使用 ELK 堆栈。

我想为每个容器保留一个进程，因此避免使用 filebeat，但为了做到这一点，我们必须使用不同的 appender，如 syslog 甚至是 tcp appender。

我们不能承受丢失日志。

Filebeat 提供开箱即用的重试逻辑，但将其引入混合会增加部署复杂性，需要确保 filebeat 在容器终止时接收 SIGTERM，确保它已预先烘焙到容器映像或 Dockerfile 中，等等.

如果我们使用 tcp 或 syslog appender 沿着这条路走下去，重试取决于我们，我们也希望避免代码的复杂性。

除了我所指出的之外，每种方法的优缺点是什么？

我们的日志库是 logback。

使用 glog 的 Mesos 从属日志文件中没有年份。它看起来像这样：

W0225 15:24:41.816625 7651 slave.cpp:2024] ......

我正在使用 filebeat 将日志转发到 logstash。mesos 中是否有任何方法可以强制将年份放入日志文件中？只需在 logstash 获取时添加当前年份，就会存在风险，即当年份变化时，它可能会输入错误的年份。

我怀疑我可以有一些逻辑来检查当前月份是否为 01，传入日志中的月份是否为 12，使用去年而不是今年....

有人为这种情况做过过滤器吗？不过，我宁愿让 mesos 把年份放在日志文件中。

我已经用 Filebeat 安装了 ELK。

我按照这个博客进行设置：https ://www.digitalocean.com/community/tutorials/how-to-install-elasticsearch-logstash-and-kibana-elk-stack-on-ubuntu-14-04#set-up -filebeat（添加客户端服务器）

当我测试时：

我得到了博客的结果。

我这边有两个问题：

1. 在logstash主机得到日志信息后，它存储在哪里？
2. 如果我想使用 filebeat 将整个日志文件转发到 logstash 主机并存储我想要的位置，我该如何配置它？

我正在尝试将相同的日志从 Filebeat 发送到两台不同的服务器（一台 Logstash 和一台 Graylog 服务器）而不进行负载平衡。我们正在我们公司测试 ELK 和 Graylog，出于测试目的，我们希望将日志发送到两个不同的堆栈。但是，在filebeat.yml文件中，如果想要进行负载平衡，我只能看到一个选项来提供 logstash 服务器列表。否则，默认值为 false，因此所有日志只会发送到随机选择的一台服务器。这就是我在 yml 文件中的内容：

如果我将其更改为：

我只会将日志发送到其中之一。

如果我设置loadbalance: true，日志将分发到两个服务器。有没有办法将所有日志发送到两台服务器？

非常感激。

我们有以下基础结构将应用程序日志数据索引到 ELK。filebeat -------> Logstash ------> 弹性搜索-----> kibana

一切正常，但突然 Logstash 服务器消耗了 99.9% 的 CPU，之后没有发生索引。在 filebeat 中，我们可以看到“错误发布事件（重试）：EOF”

如果我们重新启动 logstash 服务，它会开始索引，但当它达到 CPU 99.9% 时，它什么也不做。

弹性搜索和 kibana：AWS 服务 Logstash：AWS 中型服务器 Filebeat：我们的应用程序测试环境的 AWS 实例。

请帮助我们解决这个问题。

如果您需要任何其他详细信息，请告诉我。

提前致谢。

我设置了一个 elk 堆栈来在本地使用日志文件；现在我正在尝试添加filebeat，它将在被索引到elasticsearch之前输出到logstash进行过滤。这是我的配置文件beat.yml：

这是logstash配置：

当我使用 --configtest 时，此 logstash 配置检查正常。filebeat 启动正常，但我在 logstash.log 中收到以下错误：

这些错误不断重复。
在弹性搜索日志中有一个错误非法参数异常：空文本。我尝试将logstash输出配置中的协议更改为“节点”。
在我看来，elasticsearch 无法访问，但它正在运行：

这是我第一次尝试logstash。谁能指出我正确的方向？

我已将 logstash 配置为从一个 filebeat 端口获取输入。Filebeat 配置了两个不同的路径。是否可以将日志显示到两个不同的索引？

Logstash 输入部分：

Filebeat输入部分：

现在我需要在一个索引中显示“堆栈”，在另一个索引中显示“测试”。如何配置logstash输出部分？

我正在使用带有 filebeat 的 ELK 堆栈。我正在使用默认模板进行映射。我没有将所有需要的字段都作为“索引”

这是我的映射文件，

这是我的输出配置文件。

假设我想要一个字段名channel作为indexed字段。如何修改模板？

我使用 logstash-forwarder 和 logstash 并使用以下配置创建带有标签的动态索引：

/etc/logstash/conf.d/10-output.conf

/etc/logstash-forwarder.conf

相关的 filebeat 配置为：

/etc/filebeat/filebeat.yml

在 Kibana 中，mytag我看到beats_input_codec_plain_applied的不是我所有的索引。

是否可以将文件节拍设置为从远程目录读取（因为我无法在该机器上安装该进程）

我在 beats yml 上这样设置：

似乎不起作用