我有一个由 3 个独立物理节点组成的 Kafka 集群,每个节点都有1 zk
主机1 broker
。我们正在使用 Kafka 0.10.1.1。主题是在 ZK ensemble 上创建的,并且经纪人连接到 ZK ensemble。My Producer
andConsumer
是一个 Spring Boot 应用程序(版本 1.5.13 RELEASE)。我们有几个主题与单分区(即 - Partition 0
)min.insync.replicas=2
和replication_factor=3
. 到目前为止,当我们检查--describe
主题时,我们发现所有副本都是同步的。注册消费者组,我们已经看到,只有当消费者组处于活动状态时,它才会通过 CLI 以及 Kafka-Manager 显示。到这里就好了。
我们已将个人添加zk:2181
为单独的集群以Kafka-manager
进行监控。我们看到即使在consumer groups
不活动的情况下,它们也会出现在一些具有不同滞后值的集群中(即在动物园管理员上)。某些主题显示滞后的节点甚至不是相同主题的领导者。当我们使用 CLI 进行交叉检查时,除了KMOffsetCache-<<instance-name>>
.kafka-consumer-groups.sh --bootstrap-server ...
似乎 zk(s) 或 consumer_offsets 没有正确同步。我想了解为什么?以及如何纠正?