logstash - Filebeat / logstash 在高峰期排队消息

Question

我有一个运行 Elasticsearch、Logstash 和 Kibana 的服务器。使用 Filebeat 将传入消息从大约 10 个远程服务器推送到此服务器。

来自 10 台主机的流量非常“突发”，在高峰时间，我预计传入请求在 15 分钟内每分钟达到 10 万条记录。

我的问题是，如果 logstash 无法每分钟处理 100k 个请求，filebeat 是否会开始节流，还是会继续向远程 logstash 服务器发送请求？

此外，如果 ELK 服务器关闭或不可用，消息是否丢失或 Filebeat 是否等到 ELK 服务器再次可用才开始发送消息？

我查看了 Filebeat 文档，似乎无法找到这些问题的答案。感谢您的任何指示。

Answer 1

Filebeat 是一个基于连接的服务，它确保它可以在发送日志之前与服务器对话，并等待这些日志被 Logstash 确认。此外，如果 Logstash 无法跟上，beats 输入插件将检测到“管道减速”，并告诉 Filebeat 暂时退出。

我会看看我是否能找到这些事实的一些官方参考资料。