我们正在使用 Kafka、storm 和 redis 开发数据管道应用程序。来自不同系统的实时事件将发布到 Kafka,storm 根据配置的规则进行事件处理。状态在 redis 中管理。
我们需要在处理不同的事件之前实现不同的 WAIT_TIME。我们正在研究以下选项。
我们最初查看了风暴窗口 [滑动或翻滚窗口],但仅提供配置固定间隔的选项。我们需要根据规则改变 wait_time
我们正在探索将事件存储在 redis 缓存中不同持续时间 [TTL] 的其他选项,一旦每个事件被驱逐,我们需要回调到 Storm 来处理它。
redis 是否支持驱逐回调?有没有更好的方法来使用storm和redis?