7

我正在使用带有压缩主题的 Apache Kafka 0.10 作为分布式缓存同步机制。当应用程序启动时，它会生成一个特定于实例的consumer group id. 随着实例的添加和删除以实现水平可伸缩性，显然我们得到了大量不应再次使用的组 ID。

我确信这是 and 的完美用例KStreams，KTables但出于智力原因以及KStreamsandKTables被定义为 0.10 中的 alpha 质量，我自己尝试这样做。

是否有我可以使用的 Kafka API 调用可以删除现有的消费者组，知道它不应该再次使用？

由于 Zookeeper 在 0.10 版本中没有维护消费者偏移量，有没有办法使用 Kafka 删除消费者组？

4

2 回答 2

4

在 Kafka 中使用 CLI 是可能的

./bin/kafka-consumer-groups \
    --bootstrap-server <bootstrap_server(s)> \
    --topic <topic_name> \
    --delete \
    --group <consumer_group_name>

kafka-consumer-groups应该在 Kafka 安装主页中可用。

于 2018-08-14T12:50:46.780 回答
2

从 Kafka 0.9 开始，内部主题用于存储已提交的偏移量。您可以通过 配置这些偏移量应保留多长时间offsets.retention.minutes。（另见offsets.retention.check.interval.ms）。

于 2016-07-17T14:30:42.820 回答