apache-kafka - 是否有任何 api 或工具可以获取 kafka 主题中的摄取率

Question

如何找到摄取比率？即，每秒/分钟间隔摄取的事件/字节数

score 1 · Accepted Answer

如另一个答案中所述，Kafka 通过 JMX 导出指标，涵盖字节输入/输出率以及许多其他有趣的数据点。有关完整的详细信息，请参阅文档中的监控部分。

建议在您计划运行 Kafka 集群时收集并绘制任何这些指标。

现在，如果您只想在开发过程中快速获得这些值，您还有其他几个选择：

jconsole：这个图形工具是 JVM 自带的，可以显示所有的 JMX 指标。
kafka.tools.JmxTool：这个 CLI 工具是 Kafka 自带的，可以打印 JMX 指标的值。例如，要获取代理摄取率，请运行：
```
./bin/kafka-run-class.sh kafka.tools.JmxTool --object-name kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec
```

要使这些工作，您必须启用 JVM 以在端口上公开 JMX。

score 0 · Accepted Answer

您可以在 kafka 设置中使用 jmx 导出器，并将抓取的指标发送到 prometheus（时间序列数据库）。

然后可以在 grafana 中可视化 prometheus 中的指标。您将在那里获得主题级别的指标，您可以在其中查看每个主题的每秒/分钟摄取量

2 回答 2