我们正在考虑使用 FluentD 将 Blue Coat 日志事件从代理和 dhcp 服务器发送到弹性服务器。关键要求之一是尽快标记异常值和异常。
对于这样的要求,使用 FluentD Aggregator 从几个(可能数百个)FluentD 收集器代理中接收事件是否有意义?或者,让 FluentD 代理将事件发送到写入 Elastic 的 Kafka 集群是否更好?
如果我能获得一些关于何时使用 FluentD Aggregator 的指南,那将非常有帮助。
谢谢, 沙罗德
我们正在考虑使用 FluentD 将 Blue Coat 日志事件从代理和 dhcp 服务器发送到弹性服务器。关键要求之一是尽快标记异常值和异常。
对于这样的要求,使用 FluentD Aggregator 从几个(可能数百个)FluentD 收集器代理中接收事件是否有意义?或者,让 FluentD 代理将事件发送到写入 Elastic 的 Kafka 集群是否更好?
如果我能获得一些关于何时使用 FluentD Aggregator 的指南,那将非常有帮助。
谢谢, 沙罗德
一般来说,有两种常见的情况。
1 - 当您需要为过滤器使用多个插件时 2 - 限制目标服务/数据库/等的吞吐量...
过滤器插件消耗大量性能。这意味着它可能会影响生成日志的服务器。因此,fluentd 在服务器上应该做最少的工作,将日志传输到聚合器或 Kafka 或其他东西。
附加用例,如果您有时需要重写配置,如果您在聚合服务器中使用过滤器,则不需要重新启动服务器上的所有 fluentd。
2 - 通常,外部服务/数据库在更新/插入数据到其存储方面有很多限制。如果很多 fluentd 尝试频繁写入数据,他们会很容易地显示任何异常。为了避免这种情况,应该使用聚合器。