2

在我的一个用例中,包括使用数据、执行一些操作并将其生成到新主题。

我正在使用https://www.npmjs.com/package/kafkajs npm 库。

我想在成功操作后手动提交偏移量以避免任何数据丢失。我autoCommit: false用来避免消费后数据自动提交。

这是手动提交偏移量的代码

consumer.commitOffsets([
  { topic: 'topic-A', partition: 0, offset: '1' }
])

正如我在某处读到的那样,如果我们故意提交每个偏移量(在消耗后立即提交偏移量),那么它将给经纪人带来负载,这样做不好。

我需要 kafka 专家建议对我的上述用例提出最佳方法以避免任何数据丢失?请指教

4

0 回答 0