-1

我能够通过使用消费参数(最早)来获取特定 Kafka 主题的从头到尾的数据形式。响应:偏移量 180,味精 abc.... . 偏移量 12000 ,味精 klp...

我想计算从特定偏移量到最新偏移量的计数,以了解插入了多少新消息。kafka 消费者是否有这样的参数可以使用,或者我需要为此获取 groovy 代码?

场景将是:开始使用 kafka 主题,偏移量可能是 180-12000 post 100 msgs to kafka topic。现在的偏移量是 180-12099,由于某种原因 1 条消息未能发布。我需要一个代码来确保总数为 100,如果 99 则失败。

4

1 回答 1

1

与其检查是否存在正确数量的偏移量,不如检查生产者对您发送的消息的返回代码。当消息被 kafka 代理确认时,大多数 kafka 生产者会返回消息的偏移量。

于 2019-10-25T14:14:25.757 回答