go - 阅读来自 kafka 的最新消息-segmentio/kafka-go

Question

我正在使用 segmentio/kafka-go 客户端从主题中读取消息。我找不到..如何从上一条/新消息开始阅读。

每次我启动代码时，它都会从该分区中的起始偏移量开始读取。

Answer 1

关于消费来自 Kafka 的消息，您需要了解的是每个消费者客户端都是Consumer Group的一部分。Kafka 将每个消费者组的已处理偏移量存储在名为 的内部 Kafka 主题中的主题分区级别__consumer_offsets。这使消费者组的消费者能够在重新开始后从中断的地方继续消费。

在您的情况下，这意味着您需要设置消费者组（在KafkaConsumer API中，它是配置“group.id”）并保持不变。只有这样，您才能继续阅读最新/最新的 est 消息，而不是在重新开始后从头开始。