apache-kafka - 是否可以让 Kafka Consumer Group 中的所有客户端读取相同的数据？

Question

我需要从包含 3 个分区的 kafka 主题中读取最新消息。我需要从 5 个不同的客户端读取相同的数据，首先我尝试使用 Simple Consumer，但它不适用于多个分区。目的是让 Group 消费者处理分区，并为所有客户端获取相同的消息。

Answer 1

您可以为每个客户端使用不同的使用者组名称。

每个 Kafka 消费者都是消费者组的一部分。它的工作方式是所有消息都被每个消费者组消费。但它只会被该组中的一个消费者消费。您可以阅读此内容以获取更多详细信息

Answer 2

您应该为不同的客户端使用不同的消费者组名称。

考虑一下：您有一个包含 3 个分区的主题。客户端 1 在组 1 中有一个正在运行的消费者（或多个消费者），并从所有分区获取消息。客户端 2 在组 2 中有一个消费者，依此类推..

这样，您可能在第 1 组中有 2 个消费者为客户端 1 消费消息，在第 2 组中有 3 个消费者为客户端 2 或您可以想象的任何其他配置消费消息。