0

我在scrapy中使用带有pykafka的kafka 0.9.0作为url队列,并且我使用的主题有30个分区和4个消费者。

一开始它可以正常工作,但是当它工作了大约几个小时时,kafka 似乎在重新平衡分区时遇到了问题,我得到了一些信息,例如

无法获取分区 < pykafka.partition.Partition at 0x7f0b422cbfd0 (id=23) >。重试

比它引发两个例外

pykafka.exceptions.ConsumerStoppedException

pykafka.exceptions.PartitionOwnedError

所以想知道kafka分区的分配情况。我使用kafka-consumer-groups.sh 之类的

./kafka-consumer-groups.sh --zookeeper host:port --group name --describe

在kafka的文档中提到,但我得到了一个空列表。

4

0 回答 0