0

我有一个 ELK 设置，其输​​出直接进入 Elastic Search 而不是 Logstash。我们使用的是 ELK 7.3.2 版，带有基本许可证并在 Linux RedHat 下运行。

我们有 3 个 Kafka 节点和 2 个 Cassandra 节点的拓扑。我能够使用默认设置配置 metricbeat。此 metricbeat 获取通过此 VM 主机的 Kafka 组和主题名称，但不足以查看消费者是否出现故障。

配置一个能 ping 3 个 Kafka 节点的 Heartbeat 很容易。

这对我的团队来说还不够。

  • 为什么 metricbeat 会选择 Kafka 主题？
  • 是否有可以安装和配置以直接从 Kafka 主题读取的 Beat？
  • 有没有办法设置 metricbeat 从 Kafka 读取并输出到 Elastic Search ？
4

1 回答 1

1

Metricbeat 不仅在系统级别收集指标，还从该系统上运行的服务收集指标。以下是Metricbeat 中包含的指标收集模块的列表。该列表涵盖了许多服务和平台，包括 Kafka。

至于如何从 Kafka 主题读取到 Elasticsearch 的问题，显而易见的方法是使用 logstash 或 Kafka Connect。Elasticsearch有一个受支持的融合连接器。

不支持直接从 Kafka 主题读取的 Beat。但经过一番研究，我发现了一个由JustSocialLabs开发的。我没试过。我使用 Logstash 和 Kafka connect 的经验就足够了。但如果你愿意，你可以试一试。

于 2019-09-20T09:36:57.947 回答