我想用 KafkaStreams 运行 Siddhi CEP 库,但看起来它已经有了自己的“流”概念。如何插入 KafkaStreams 以启用 Siddhi 执行计划在 KafkaStreams 上运行?
编辑解决 Dilini 的评论>>
参考: Kafka Streams 文档
Kafka Streams 目前没有与我发现的 CEP 框架紧密集成。例如,Apache Flink 拥有自己的 Flink CEP。因此,我设想使用 Siddhi CEP 作为 Kafka Streams 之上的抽象层,并在这两种技术之间进行紧密集成。例如,
- 创建 Siddhi CEP 流将自动创建 Kafka 主题和 Kafka 流以流式传输发布到该主题的事件。
- 创建 Siddhi CEP 输出流确实会创建 Kafka 主题并发布到它
- Siddhi CEP 的“事件表”可能是本地的 Kafka Streams“状态存储”或 Kafka 主题,因为它们本质上是一个复制的分区数据存储。这不是使用 RDBMS 或内存中的事件表等。
- Siddhi CEP 执行计划复杂的事件查询将转发到 Kafka Streams 处理器 API,这些 API 执行 map()、filter(),并加入 Kafka Streams 以检查模式等。
我试图理解为什么我想要多个“流”框架,特别是如果我的环境中已经有 Kafka Streams。