我正在使用 sarama-cluster (由 Golang kafka 消费者客户端编写)
在 broker 中,我的主题的分区偏移量是 11000,我的消费者组的分区偏移量是 10100。然后我运行我的集群消费者,但没有任何消费。(消费时间为1~2天后)
但是当我在主题的分区中产生消息时,它会消耗!(在每个分区中)
一条消息是 901。为什么,我的消费者集群消费似乎在产生消息时被激活?
我的消费者设置是 auto.offset.reset = lastest
我正在使用 sarama-cluster (由 Golang kafka 消费者客户端编写)
在 broker 中,我的主题的分区偏移量是 11000,我的消费者组的分区偏移量是 10100。然后我运行我的集群消费者,但没有任何消费。(消费时间为1~2天后)
但是当我在主题的分区中产生消息时,它会消耗!(在每个分区中)
一条消息是 901。为什么,我的消费者集群消费似乎在产生消息时被激活?
我的消费者设置是 auto.offset.reset = lastest
这是因为您的偏移重置设置。auto.offset.reset = latest
意味着您的消费者组应该等待最新的记录。如果您想从头开始消费,请使用auto.offset.reset = earliest
.
Kafka 官方文档:https ://kafka.apache.org/0110/documentation.html