0

我打算利用 Filebeat(s) 通过 Logstash 将日志文件从每个节点的预定目录复制到一个通用的 Elasticsearch 数据库中。例如,在源目录中有10 个具有相同日志格式的日志文件,并且它们每天都在高速增长。

尽管这 10 个日志文件具有相同的日志格式,但它们是由 10 个不同的程序生成的。因此,从长远来看,为每个日志文件构建一个索引可能是明智的,即10 个索引,每个索引对应一个日志文件。首先,我想知道这是一个合适的计划吗?或者所有日志数据只有一个索引就足够了,因为索引是每天生成的?

如果为每个日志文件建立一个索引是明智的,那么如何实现这个目标?filebeat.yml 似乎只允许定义一个索引,因此不可能使用一个 Filebeat 生成多个索引。有什么好的解决方案吗?

4

1 回答 1

0

Filebeat 只是托运人。它本身不能发送到多个 Elasticsearch 索引。为此,您需要 Logstash。

在 Filebeat 中为日志文件定义多个不同的探矿者并为一个字段设置不同的值,因此可以在 Logstash 中使用它来执行逻辑。

然后在 Logstash中,根据每个探矿者可能具有不同值的字段,将事件发送到一个或另一个索引。

于 2016-05-01T21:41:47.440 回答