apache-kafka - 监控动态（按比例放大/缩小）kafka 集群

Question

我们正在使用 kafka 集群，我们想要监控这个集群。

当前我们的方法：

1. 收集 jmx 指标（telegraf jolokia plugin或jmxtrans）
2. 存储涌入
3. 通过 grafana 渲染

但是我们遇到了kafka代理列表的静态配置问题。我们只能通过Jmxtrans或配置静态列表Telegraf jolokia plugin。

我们想要动态列表（示例仅配置 kafka 集群 zookeeper 连接以在每次收集指标迭代中获取代理列表）用于 kafka 的案例扩展/缩减。

是否存在另一种用于监控动态 kafka 集群的工具？

Answer 1

接下来我的最终解决方案：

1. 自定义 bash 输入插件（因为我不想用一个自定义 go 输入插件构建自己的电报，而且我现在不太了解 go 语言:)）
2. 在 bash 中插件zkCli用于所有 kafka 节点发现
3. 下一个 bash 脚本jolokia向每个 kafka 节点发布批量请求，聚合并格式化为流入插件。