aggregation - FluentD 聚合器 - 何时使用？

Question

我们正在考虑使用 FluentD 将 Blue Coat 日志事件从代理和 dhcp 服务器发送到弹性服务器。关键要求之一是尽快标记异常值和异常。

对于这样的要求，使用 FluentD Aggregator 从几个（可能数百个）FluentD 收集器代理中接收事件是否有意义？或者，让 FluentD 代理将事件发送到写入 Elastic 的 Kafka 集群是否更好？

如果我能获得一些关于何时使用 FluentD Aggregator 的指南，那将非常有帮助。

谢谢， 沙罗德

Answer 1

一般来说，有两种常见的情况。

1 - 当您需要为过滤器使用多个插件时 2 - 限制目标服务/数据库/等的吞吐量...

过滤器插件消耗大量性能。这意味着它可能会影响生成日志的服务器。因此，fluentd 在服务器上应该做最少的工作，将日志传输到聚合器或 Kafka 或其他东西。

附加用例，如果您有时需要重写配置，如果您在聚合服务器中使用过滤器，则不需要重新启动服务器上的所有 fluentd。

2 - 通常，外部服务/数据库在更新/插入数据到其存储方面有很多限制。如果很多 fluentd 尝试频繁写入数据，他们会很容易地显示任何异常。为了避免这种情况，应该使用聚合器。