apache-kafka - 如何确定 Kafka 消费者的偏移量

Question

我们有一个问题，似乎 Kafka 消费者没有收到发布到主题的消息。（我说似乎我还没有深究，我可能是错的。）

我正在为 Apache Kafka 使用 Spring，而我的使用者实际上是一个用@KafkaListener.

这个问题是间歇性的，我无法重新创建它。

有没有办法让我查看 Kafka 代理的日志，或任何其他工具来帮助我找出我的消费者的偏移量？我想要具体的证据证明我的消费者是否收到了消息。

score 12 · Accepted Answer

看看 kafka-consumer-groups 工具，它可以用来检查消费者的偏移和滞后（消费者在你运行这个命令的时候必须是活跃的）。

./kafka-consumer-groups --bootstrap-server 127.0.0.1:9092 --new-consumer --describe --group console-consumer-55936

GROUP                          TOPIC                          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             OWNER
console-consumer-55936         test                           0          6               6               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           1          1               1               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           2          1               1               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           3          1               1               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           4          2               2               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           5          1               1               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           6          1               1               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           7          2               2               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           8          1               1               0               consumer-1_/192.168.0.83

这应该允许您跟踪是否有任何东西实际被消耗。