问题标签 [filebeat]

我们有一堆服务，通过 docker 容器部署在 Mesos 上，记录到 stdout 和 stderr。我们现在正在引入 ELK，因此需要将此日志数据发送到 Logstash。

我正在考虑的一种解决方案是有一个包装进程来启动服务进程，捕获标准输出和标准错误并将其写入文件（随着时间的推移而被截断），并让FileBeat将该文件发送到 LogStash。感觉我可能正在重新发明一个轮子的想法，有没有更直接的方法来实现同样的目标？

我希望从 Kafka 消费并将数据保存到 Hadoop 和 Elasticsearch 中。我目前已经看到了两种方法：使用 Filebeat 从 Kafka 消费并将其发送到 ES 和使用 Kafka-Connect 框架。有一个 Kafka-Connect-HDFS 和 Kafka-Connect-Elasticsearch 模块。

我不确定使用哪一个来发送流数据。虽然我认为如果我想在某个时候从 Kafka 获取数据并将其放入 Cassandra，我可以为此使用 Kafka-Connect 模块，但 Filebeat 不存在这样的功能。

我正在尝试将 Zabbix 日志数据输入到 ELK 堆栈中以进行一些时间相关性。但是，我没有得到我的 Logstash 集中式服务器配置指定的过滤器，如果它充当代理时我会这样做。我正在使用 Filebeat 将日志条目发送到 Logstash 进行处理。但是，该fields.tags行没有被 Logstash 确认，但在 Elasticsearch/Kibana 中可见。这是我的配置。

然后是我的 Logstash 配置文件

Logstash 没有对该fields.tags行起作用，并且过滤/切割从 Filebeat 传递给它的日志行。我是否正确访问了这些变量？我对其他文件做了类似的事情，但只有当 Logstash 充当代理并直接从文件中读取时。

我有一个充满日志文件的目录，每个文件都以每天命名，即“log.2016-09-26”，但它们可以追溯到很长一段时间。我正在使用 filebeat 从该目录中获取这些日志，但我的问题是我只想要过去 2 周/14 天。Filebeat 想要一个正则表达式来过滤掉要排除的文件。过滤这些日志的最佳方法是什么？

我将配置为具有负载平衡 true 的 filebeat 和两个 logstash 主机，即 logstash1 和 logstash2，它们是 elasticsearch 的输入。logstash 的 filebeat 配置如下

我设置的两个logstash上的logstash输入如下

但是，当我将一些行回显到文件 temp.log 中时，我看到在弹性搜索中处理的行是重复的文档，在我看来，两个 logstash 都在处理所有行。在两个logstash的stdout上，有时我看到两个logstash处理的外汇line1和line2，或者有时由logstash1和line1、line2、line2处理的line1由logstash2处理但是即使使loadbalance = flase我仍然看到重复的文档。& 在标准输出中，我 sed line1 和 line2 由 logstash1 或 logstash2 处理了两次。

所以只是想知道我的配置是错误的，这些行没有分布在logstashes上，还是像它的行为或错误一样。

我使用它作为filebeat运送日志的路径。输出是弹性搜索。

日志已经格式化为 JSON，我只想索引来反映日志的来源。在我的场景中，任何人都可以将文件abcd.log放在日志文件夹中。我希望将这些日志发送到索引filebeat-abcd-19.05.2016或类似的东西。由于日志是预先格式化的，我们不希望在两者之间有任何 logstash。目前它们采用filebeat-dd.mm.yyyy格式。基本上我想在两者之间包含文件名。如果没有logstash，我该怎么做？

我们正在安装 ELS 和 Kibana 以进行日志聚合/分析。第一个使用它的系统是新建系统，因此我们从构成我们系统的服务中输出结构化日志。鉴于我们不需要向日志添加结构，我计划使用 FileBeat 将日志直接发送到 ELS，而不是使用 LogStash。这是一个明智的选择，还是 LogStash 具有超出我们可能需要的解析的价值？如果我们确实使用 LogStash，我可以使用它来收集日志文件还是应该使用 FileBeat 将日志泵送到 LogStash？

我在 filebeat.yml 中使用 Filebeat 多行模式，它从单个文件中获取输入，如下所示：

文件节拍.yml

我使用上面的配置来匹配行中的“标识符”。输出应如所愿

我已配置 filebeat 以收集我的结构化日志输出（新建项目，因此每个日志条目都是预定义格式的 JSON 文档）并将其直接发布到 ELS。

示例日志文件摘录（请注意，它additional是自由格式，所有其他属性都是固定的。这篇文章的格式非常漂亮，但每个顶级对象都在文件中的一行上）：

这会导致 filebeat 向 ELS 发出以下请求：

我可以防止 filebeat 转义我的日志 JSON 以使其成为嵌套对象而不是字符串，还是我需要修补 filebeat？

我有几个应用程序在单个服务器上运行。我想使用 filebeat 将他们每个人的日志发送到 logstash。但是，为了配置管理，我希望能够分别为每个应用程序添加配置到 filebeat。

Logstash 从conf.d目录中读取其配置。据我了解，可以在其中添加文件，并且当 logstash 加载它们时它们会合并。filebeat 有没有类似的功能？还是我坚持为filebeat.yml每台服务器维护一个文件？

我在 CentOS 7 上运行 filebeat 和 logstash 作为服务，使用来自elastic's repositories的 yum/rpm 包。Filebeat 是 1.3.1 版，logstash 是 2.4.0 版。