logstash - Logstash 不工作并消耗 99% CPU

Question

我们有以下基础结构将应用程序日志数据索引到 ELK。filebeat -------> Logstash ------> 弹性搜索-----> kibana

一切正常，但突然 Logstash 服务器消耗了 99.9% 的 CPU，之后没有发生索引。在 filebeat 中，我们可以看到“错误发布事件（重试）：EOF”

如果我们重新启动 logstash 服务，它会开始索引，但当它达到 CPU 99.9% 时，它什么也不做。

弹性搜索和 kibana：AWS 服务 Logstash：AWS 中型服务器 Filebeat：我们的应用程序测试环境的 AWS 实例。

请帮助我们解决这个问题。

如果您需要任何其他详细信息，请告诉我。

提前致谢。

Answer 1

感谢 Arivazhgan 和 daniel 的支持和建议。我发现了问题，实际问题是我的过滤器逻辑需要更多时间来处理日志消息。我已经修改了日志消息格式并优化了 grok 表达式。现在一切正常。

进行了以下更改： 01. 我使用 mutate 将几个字段转换为 int 和 float。我在模式文件本身中所做的这些更改。02.我修改了日志消息格式。03.优化grok表情。