consumer - Kafka 再平衡最小化

Question

在我拥有的简单场景中： 1 kafka broker N 个主题 没有主题分区

例如，我想要在消费者之间分开主题。

我加载 K 个消费者（流），每个流处理 N/K 个主题。

1. 我可以使用同一个消费组
2. 我可以将每个消费者加载到自己的组中

您能否确认，如果添加了新的消费者，二维情况下的再平衡不会发生？这很好，因为我想避免重新平衡。

这两种方法的隐藏缺点是什么？

Answer 1

将消费者添加到不同的组时不应该发生重新平衡。

当使用同一个消费者组时，如果一个消费者死亡，其他消费者将获取他的主题/分区并从它死亡的偏移量继续处理。如果您使用不同的消费者组，您必须自己从正确的位置重新启动消费者。