python - 使用 pykafka 在 kafka 主题创建上创建多个分区

Question

我正在使用以下代码使用 pykafka python 库 api 创建一个 kafka 主题。

from pykafka import KafkaClient
client = KafkaClient(hosts="127.0.0.1:9092")
topic = client.topics[topic_name]
producer = topic.get_producer(sync=True)
producer.produce('message'))

这里的主题是默认创建的，只有 1 个分区。如何使用 pykafka 为主题分配多个分区，例如

topic.number_of_partitons=3?

Answer 1

您注意到 pykafka 对主题自动创建的支持。通过 dict 访问尚不存在client.topics的主题时，将使用代理配置中定义的默认设置自动创建该主题。

Pykafka 还支持 CLI 与 Kafka 0.10.1 中的主题创建和删除 API 集成。有关如何使用它的信息，请参阅源代码。这是一个例子：

python pykafka/cli/kafka_tools.py --broker_version 0.10.1 create_topic --num_partitions 3 --rpelication_factor 2 cli_testtopic