logstash - 如何测量filebeat已消耗和logstash已处理的日志事件数

Question

我有一个 ELK 堆栈，如下所示：
FileBeat --> Redis --> Logstash --> ES --> Kibana。

我在 Logstash 中使用指标插件，但我无法理解它。

如何测量在给定时间点从日志中读取并通过filebeat发送到redis的事件数以及logstash处理的事件数？

input
     generator {
        type => "generated"
      }
filter

     metrics {
        meter => "events"
        add_tag => "metric"
      }
output

    if "metric" in [tags] {
        stdout {
          codec => line {
            format => "rate: %{[events][rate_5m]}"
          }
        }
      }

我可以看到输出为

率：一些数字

Answer 1

该文档解释了您所看到的数字。

"[thing][rate_5m]" - 5 分钟滑动窗口中每秒的事件率

因此，您看到的数字是过去 5 分钟内每秒的事件数。

但是解决方案与您所拥有的相差不远：您必须使用[events][count], 与[events][rate_5m]. 这将为您提供过去 5 分钟的事件数（可以通过flush_interval设置进行更改）