apache-kafka - 如何在 Kafka 中创建多个消费者以从生产者那里读取相同的消息，并在收到这些消息后在每个消费者处执行不同的任务

Question

我有一个用例，我需要创建 3 个消费者，它们可以从生产者发送的单个或多个分区中读取所有消息。我需要我的 3 个消费者在收到相同的消息后执行 3 个不同的任务。

一种很好的方法是创建一个具有不同 group.id 的消费者组，方法是使用

props.put("group.id", UUID.randomUUID().toString())

我已经为这个想法参考了以下链接。

Kafka 多个消费者用于一个分区

我坚持知道如何使用 ConsumerGroupExample 代码来实现这一目标？如何创建多个消费者？以及收到消息后如何分别管理？我需要创建 ConsumerGroupExample 的多个对象吗？

Answer 1

是的，您需要创建 3 个具有不同 group.id 的对象。

请注意：为每个组使用静态名称（而不是随机名称）以支持故障转移并在多个实例上并行执行相同的任务。