问题标签 [filebeat]

我想使用 Elastic Stack 进行日志聚合，从 10 台机器中获取日志。我希望在 10 台机器上安装 Filebeat 并从每台机器上获取日志并将其发送到安装在单独机器上的集中式 Logstash 服务器。在单独的机器上，安装了 Logstash Elasticsearch 和 Kibana。我需要 Logstash，因为我想在使用节拍收集日志后对数据进行处理和解析。

根据这个架构，我面临一些识别和解析日志的问题。如何让logstash识别一次从多个beats服务器收集日志？我可以在 logstash-beats 插件中指定多个主机，以便 logstash 一次解析来自 10 台机器的所有日志吗？

我是否应该在所有 10 台机器中定义单独的 document_type 作为 Filebeat 配置的一部分，稍后可以在 Logstash 中使用它，以便我在过滤器插件中定义多种类型（使用通配符 - tomcat*）。

单机设置的示例 Filebeat 配置：-

这种类型的设置将在所有 10 台机器上完成，其中 document_type 的值只会改变。

单机的示例 Logstash 配置：-

欢迎更多想法。

我正在尝试在 CentOS 7 环境中获取 filebeat（用于 logstash 转发）以在我创建的用户帐户下运行：filebeat 而不是 root。我尝试将/etc/rc.d/init.d/filebeat文件编辑为以下内容，但无济于事。我可能做错了什么，但对 BASH 脚本仍然有点陌生，我可能把它放在错误的地方？我尝试遵循此处建议的实施说明

为简洁起见，我只显示上述文件的第一部分，因为后面部分没有改变：

以前，我使用类似于以下内容创建了一个用户帐户 filebeat：

但是，当我在启动后尝试查看该过程时，它仍然显示为由 root 拥有：

Filebeat 用于将日志数据传送到 logstash。Logstash 在端口 5044 读取该数据。

我们可以直接将数据输入logstash。

我的问题是，为什么我们需要 filebeat 作为托运人？使用filebeat作为shipper有什么好处？

如何将每个日志文件名从 Filebeat 传递到 Logstash？

我想在 Graylog 源文件名中查看以进行深入分析。

我研究了文档，但没有找到解释。你能帮助我吗？

我有一个 ELK 堆栈，如下所示：
FileBeat --> Redis --> Logstash --> ES --> Kibana。

我在 Logstash 中使用指标插件，但我无法理解它。

如何测量在给定时间点从日志中读取并通过filebeat发送到redis的事件数以及logstash处理的事件数？

我可以看到输出为

率：一些数字

我有 2 个 logstash 服务器，它们从多个 filebeats 监听 5000。只有一个 logstash 服务器正在获取流量。我可以用 nginx 对这些进行负载平衡吗？我可以对弹性搜索服务器集群做同样的事情吗？

当我在客户端上重新启动 filebeat 时：

我收到一个错误：

这是什么意思，我该如何解决？

我使用digitalocean上的 ELK 教程 进行设置

更多信息：

我正在使用端口 5044，sudo netstat -tulpn | grep :5044给出：

因此，我有一个由 filebeat 设置的主机名（并且我已经编写了一个应该抓住它的正则表达式），但是以下内容并没有按照我认为应该的方式添加字段。

我似乎无法访问 beat.hostname、主机名、主机或类似的东西来添加我想要的字段。目前主机名为：BOS-LAP-MYNAME1

哪个应该匹配：

另请注意：尽管 Kibana 中提供了这些字段，但我也尝试了“主机”、“主机名”和其他类似的字段名称，但均无济于事。

我在 XML 中有一组日志文件（WCF 跟踪文件），日志元素之间没有换行符。相反，有一个开始标签/结束标签。例子：

我想将 E2ETraceEvents 单独存储在 ES 中。

该文件由正在运行的 WCF 服务附加。是否可以通过 filebeat 将其发送到 logstash？filebeat 可以在标签上匹配吗？或者 filebeat 需要换行符吗？还有其他选择吗？

我想在我的 kibana 面板中分析消息：

我不希望它被标记化。

我通过filebeat发送日志并在logstash中添加过滤器。

在Logstash + Kibana 术语面板的帮助下，我用来更新的 curl 命令是：

但回应是：

我究竟做错了什么？我需要做什么才能达到预期的结果。

编辑：上述 curl 命令的问题是使用https而不是http. 但是，它仍然无法正常工作。