add - Kafka 消费者 - 如何添加主题

Question

在一个场景中，我有 N 个消费者（所有消费者都有 1 个流/没有分区），每个消费者都订阅了一组单独的主题，如何处理由生产者添加的新主题？

我应该为每个添加的主题创建新的消费者吗？或者我可以将此主题添加到已经工作的消费者吗？（怎么做？）

或者更好地保留 1 个具有 N 个消费者的消费者组，而不是在 N 个消费者（流）之间划分主题？

Answer 1

如上所述，初始配置在同一消费者组的消费者之间划分的主题根本不是很好。消费者将无法互相失败，因为他们有不同的主题列表。Kafka 会发出不必要的重新平衡。

您无需为每个添加的主题添加消费者 - 您最好从头开始使用所有此类主题，将它们添加到 /MYTOPICS/* 等公共路径

您最好按分区划分主题并在需要时添加新分区。这将是透明的，不费吹灰之力。