aggregate - EFK Stack 中的 Fluentbit 和 Fluentd，为什么我需要使用 fluentd？

Question

嘿，任何人都可以向我解释为什么我需要使用流利的聚合器？以下是我一直在研究的基础设施

Fluentbit(Log Forwarder) --> Fluentd(Data Processing and Aggregator) --> Elasticsearch --> Kibana

抱歉没有显示图片，但您可以在这里找到我的意思：https ://medium.com/redbox-techblog/building-an-open-data-platform-logging-with-fluentd-and-elasticsearch- 4582de868398

好吧，也许这是一个奇怪的问题，但我仍然不明白我为什么需要它？当我只能使用fluentbit将日志直接转发到elasticsearch时，为什么我们必须需要聚合器？

有关更多信息，我将为几个节点使用大量 fluentbit（我认为大约 50 个节点）

如果你能帮助我，我很感激，对不起我的英语不好

谢谢

Answer 1

您不需要它，只需确保您的 Elasticsearch 集群设置正确，以便它可以处理具有多个传入连接和流量的负载。

Answer 2

像 fluentd 或 logstash 这样的日志收集器可确保不存在“坏数据”的风险，这可能会在生产中导致问题。日志收集器提供统一的日志层，将数据源与后端系统解耦。

希望这可以帮助。