问题标签 [filebeat]

filebeat 不过滤消息。下面是留言

我想过滤“ELB-HealthChecker/1.0\”并排除。然而我看到了这些消息。为什么？

我有 Filebeat、Logstash、ElasticSearch 和 Kibana。Filebeat 位于单独的服务器上，它应该接收不同格式的数据：syslog、json、来自数据库等，并将其发送到 Logstash。

我知道如何设置 Logstash 以使其处理单一格式，但由于有多种数据格式，我将如何配置 Logstash 以正确处理每种数据格式？

事实上，我该如何设置它们，Logstash 和 Filebeat，以便所有不同格式的数据都从 Filebeat 发送并正确提交到 Logstash？我的意思是，处理发送和接收数据的配置设置。

我们有一个问题：我们正在使用带有转发器 filebeat 的 logstash。我们已经上传了 2100 万条日志，现在我们在 logstash 中的配置文件中进行了更改。我们不想删除所有数据并重新加载它，所以我们想知道是否有更新字段的方法。但是我们不想更新每个字段，只有在其中有特定内容的情况下。任何人都可以帮助我们并给出一个代码示例吗？谢谢你的帮助！

因此，我们通过在 logstash 配置中的匹配表中使用 CFNetworkNumber 和 DarwinVersion 来获取 iOSVersion。在这个例子中，iOSVersion 是未知的，因为这个组合还没有在配置中。所以我想添加一个这个案例并更新那些文档，如果它是未知的，但在这个变化之后 cas 是已知的。所以我在 logstash 配置中添加的是：

我已经成功设置了我的系统以使用：elasticsearch-logstash-filebeat-kibana 进行集中式日志记录。

我无法在 Kibana 中使用 filebeat 模板索引查看日志。当我尝试创建一个logstash过滤器以正确解析我的日志文件时，问题就来了。

我正在使用 grok 模式，所以我首先创建了这个模式（/opt/logstash/patterns/grok-paterns）：

这是logstash过滤器（/etc/logstash/conf.d/11-log-filter.conf）：

显然，当我从命令行对其进行测试时，解析器工作正常：

然而......日志没有出现在 Kibana 中，我什至没有看到“_grokparsefailure” tasgs，所以我客人说解析器正在工作，但我可以找到日志。

我究竟做错了什么？我忘记了什么吗？

提前致谢。

编辑

输入（02-beats-input.conf）：

输出（30-elasticsearch-output.conf）：

我有一个运行 Elasticsearch、Logstash 和 Kibana 的服务器。使用 Filebeat 将传入消息从大约 10 个远程服务器推送到此服务器。

来自 10 台主机的流量非常“突发”，在高峰时间，我预计传入请求在 15 分钟内每分钟达到 10 万条记录。

我的问题是，如果 logstash 无法每分钟处理 100k 个请求，filebeat 是否会开始节流，还是会继续向远程 logstash 服务器发送请求？

此外，如果 ELK 服务器关闭或不可用，消息是否丢失或 Filebeat 是否等到 ELK 服务器再次可用才开始发送消息？

我查看了 Filebeat 文档，似乎无法找到这些问题的答案。感谢您的任何指示。

我有以下 yml 文件，在项目目录而不是全局文件 beat 配置目录中：

运行filebeat -configtest不产生任何输出。运行filebeat也不会产生任何输出。

我希望正在运行的 filebeat 守护程序从该目录动态获取配置，假设命令filebeat应该这样做。我知道这可以在全局配置文件中设置，但我宁愿动态执行。

我做错了什么或者这里暗示的假设是错误的？

假设我有一条这样的路径：

我将如何更改它以根据 /var/log/*/ 下的文件夹名称自动将文档类型命名为 * 中的任何内容？

例子：

/var/log/app/* -- 产生应用程序日志

/var/log/alpha/* -- 生成 alpha 日志

/var/log//beta/* -- 生成 beta 日志

/var/log/delta/* -- 生成增量日志。

是否可以使用节拍来执行此操作，或者我是否需要使用 grok 或 ruby​​ 过滤器在 logstash 端处理此问题？

我的 ELK 设置如下
Kibana <-- ElasticSearch <-- Logstash <-- FileBeat （从不同的日志源获取日志）
当消息流入更多时，此设置会崩溃。正如我在互联网上读到的那样，人们建议在此设置中使用 redis 为 ES 消耗消息腾出空间。所以我现在希望设置类似这样
的 Kibana <-- ElasticSearch <-- Logstash <-- REDIS <-- FileBeat（从不同的日志源获取日志）
我希望 Redis 充当中间来保存消息，这样消费者端就不会遇到瓶颈。但是这里 redis dump.rdb 继续增长，一旦消息被 logstash 消耗，它就不会缩小（没有释放空间）。下面是我的 redis.conf

编辑：FileBeat 配置：

Logstash 配置：

如果需要更多信息，请告诉我。蒂亚！！！

抱歉，如果这是一个幼稚的问题。我已经将 Filebeat 配置为直接将数据发送到 ES。万一 ES 离线并且 filebeat 收集器找到了要发送的日志，它会缓冲、重试和发送吗？

这是我尝试过的，我的 docker 容器生成了一个日志文件，filebeat 获得了该日志条目并报告说发送了“x”事件但 ES 无法访问。我删除了日志文件，认为 filebeat 对其进行了缓冲，然后启动了 ES。我没有看到日志通过。

如何处理这种情况？

是否有 Elastic Filebeat 的官方 Docker 映像？

我看到有一些社区贡献的，不确定是否有官方的。