我正在研究一个简单的聚合,它将给定资源上发生的事件总数相加(请参阅: 计算总数并在 flink 中定期发出)。在一些帮助下,我得到了这个工作,但现在遇到了另一个问题。
我正在尝试计算资源生命周期的总数,但我正在从保留期为 24 小时的 kinesis 流中读取事件。由于这意味着我无法访问在此之前发生的事件,因此我需要从一个每天计算一次总数的遗留(批处理)系统引导我的状态。
本质上,我想以某种方式从遗留系统引导状态(加载昨天的统计信息),然后在此基础上加入来自 kinesis 流的今天数据,并避免在此过程中重复。理想情况下,这将是一个一次性的过程,并且应用程序应该从那时起从 kinesis 运行。
如果我错过了什么,我很乐意提供更多细节。
谢谢