kubernetes - EFK Kubernetes 日志聚合

Question

我正在将 EFK 堆栈安装到 100 天前的集群。Fluentd 将提取 100 天的日志并开始发送到 Elastic。是否有规定 fluentd 从今天开始聚合日志，而不是从集群的生命周期开始？

Answer 1

如果你查看Fluentd 文档，你可以找到limit_recently_modifiedflag，它允许将修改时间限制在指定时间范围内的监视文件。

以下是如何limit_recently_modified在 conf 文件中使用的方法：

...
<source>
    exclude_path ["/var/log/wedge/*/*/MattDaemon*.log"]
    path_key source
    format none
    read_from_head true
    tag foo.*
    path /var/log/wedge/*/*/*.log
    pos_file /var/log/td-agent/wedgelog
    limit_recently_modified 86400s
    @type tail
</source>
...

另一种选择是使用Filebeat（而不是 Fluentd），您可以在其中找到ignore_older标志。Filebeat 会忽略在指定时间跨度之前修改过的任何文件。

我希望它会帮助你。