我在scrapy中使用带有pykafka的kafka 0.9.0作为url队列,并且我使用的主题有30个分区和4个消费者。
一开始它可以正常工作,但是当它工作了大约几个小时时,kafka 似乎在重新平衡分区时遇到了问题,我得到了一些信息,例如
无法获取分区 < pykafka.partition.Partition at 0x7f0b422cbfd0 (id=23) >。重试
比它引发两个例外
pykafka.exceptions.ConsumerStoppedException
pykafka.exceptions.PartitionOwnedError
所以想知道kafka分区的分配情况。我使用kafka-consumer-groups.sh 之类的
./kafka-consumer-groups.sh --zookeeper host:port --group name --describe
在kafka的文档中提到,但我得到了一个空列表。