首先非常感谢您考虑我的问题。希望不要太傻。
我只是想知道是否有一种方法可以在将数据记录从流中取出时过滤 Kinesis Stream 上的数据。AWS 官方文档说分区键用于
“允许处理特定分片的消费者在设计时假设具有相同分区键的记录只会发送给该消费者”
无法指定(既不使用 REST API,也不使用KCL)我有兴趣直接读取数据记录的分区键。
具有相同分区键的数据记录将被散列到相同的分片,但是我们如何仅通过知道分区键就知道它是哪个分片?
最终的问题是:如何创建一个只接收特定分区键数据的消费者?/如何创建只接收它感兴趣的数据的消费者。
非常感谢您花时间考虑我的问题并分享您的想法!
更新 2021-02-10:
早于这个日期就得出了这个结论,但恰好在这个日期重新审视了这个问题。
为了那些刚刚阅读或开始使用 Kinesis 的人的利益:
我认为“一般分片”是(或者不确定分片的当前状态)不是为实现业务逻辑而设计的,而是主要用于处理数据量的扩展(一种大数据技术 - 在我的简单理解中)
同样,今天不确定 Kinesis,但要求仍然存在,我猜 Kafka 是这个问题的答案,但是 Kafka 可能仍然无法为您提供开箱即用的功能。