apache-kafka - Kafka经纪人是否有可能丢失消费者组偏移量？

Question

我在 Kafka 集群中作为消费者（最早/从开始）消费了 15 天的 Kafka 主题（保留 21 天），连续 15 天使用 x 消费者组，第 15 天生产者的团队停止生产，我停止了消费者侧面符合没有剩余消息可供消费。然后Kafka Cluster也被关闭了。然后在第 16 天，Kafka 集群开启，生产者在第 23 天启动了他的生产者，我也开始了我的消费者。但是当我开始时，我从一开始就收到消息，而不是从我遗漏的地方，尽管我正在使用同一个 x 消费者组。所以我的问题是为什么会这样？Kafka Broker 是否丢失了有关消费者组的信息？

Answer 1

当一个消费者组失去所有消费者时，它的偏移量将保留在 broker 属性中配置的时间段内offsets.retention.minutes。此属性默认为10080相当于7天数——大致是您的消费者停止（第 16 天）和恢复（第 23 天）所用的时间。

您可以调整此属性以增加偏移量的保留期。或者，您还可以调整offsets.retention.check.interval.ms指示检查陈旧偏移量的频率的属性。