在我的一个用例中,包括使用数据、执行一些操作并将其生成到新主题。
我正在使用https://www.npmjs.com/package/kafkajs npm 库。
我想在成功操作后手动提交偏移量以避免任何数据丢失。我autoCommit: false
用来避免消费后数据自动提交。
这是手动提交偏移量的代码
consumer.commitOffsets([
{ topic: 'topic-A', partition: 0, offset: '1' }
])
正如我在某处读到的那样,如果我们故意提交每个偏移量(在消耗后立即提交偏移量),那么它将给经纪人带来负载,这样做不好。
我需要 kafka 专家建议对我的上述用例提出最佳方法以避免任何数据丢失?请指教