apache-kafka - kafka如何识别消费群体？

Question

我有这段代码可以在 pykafka 中创建消费者平衡：

consumer = topic.get_balanced_consumer(consumer_group='Testing',auto_commit_enable=True,zookeeper_connect='amsmgmt002:2181,nas5:2181,amsdblx006:2181')

如何跨流程管理消费者的状态？

谢谢

Answer 1

从pykafka 自述文件：

您可以拥有与该主题具有分区一样多的 BalancedConsumer 实例使用该主题。如果它们都连接到同一个 zookeeper 实例，它们将与其通信以自动平衡它们之间的分区。BalancedConsumer 使用的分区分配策略默认为“范围”策略。该策略可以通过 members_protocol 关键字参数进行切换，并且可以是 pykafka.membershipprotocol 公开的对象或 pykafka.membershipprotocol.GroupMembershipProtocol 的自定义实例。