apache-kafka - 使用 kafka-python kafka 客户端的 KafkaConsumer 实例读取 Kafka 中最旧的可用消息

Question

我尝试使用以下命令读取 kafka 消费者中的消息：

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

在这里我们可以读取大约 4 天的旧消息，因为我们在 kafka 服务器配置文件中将保留时间设置为 7 天。但是，当我们尝试使用 kaka-python 客户端库的 KafkaConsumer 读取消息时，如下所示：

cons = KafkaConsumer("localhost:9092", "test","smallest")
cons.fetch_messages()

我们今天收到的消息只有一些偏移量。我不知道如何在 Kafka 中获取最旧的消息，就像我们在上面的 kafka 消费者 shell 脚本中得到的那样。请帮忙。

Answer 1

文档显示了通过namedtuples.

consumer = KafkaConsumer('topic1', 'topic2',
                         bootstrap_servers=['localhost:9092'],
                         group_id='my_consumer_group',
                         auto_commit_enable=True,
                         auto_commit_interval_ms=30 * 1000,
                         auto_offset_reset='smallest')