我想了解处理 kinesis 消费者中断的最佳方法是什么。
我的消费者设置了 TRIM_HORIZON。以下是来自 AWS 的定义:
TRIM_HORIZON - 从最后一个(未修剪的)流记录开始读取,这是分片中最旧的记录。在 DynamoDB Streams 中,数据保留期限为 24 小时。年龄超过此限制的流记录将从流中删除(修剪)。
我对这个定义的理解是,如果我的消费者关闭然后重新启动。它将从分片中最旧的可读记录开始消费。这意味着它将重新读取一些旧数据。
我希望我的消费者在最后一个确认记录之后开始。
我的 kinesis 消费者使用 KCL (java) 并由 dynamoDB 支持。
我应该使用 AFTER_SEQUENCE_NUMBER 并在中断后给我的消费者一个序列号吗?如何获得最后一次阅读记录?我的目标是从消费者停机前的最后一个确认记录恢复消费记录?
我很欣赏你的建议。
谢谢,
穆莱。