假设我有两个 Kafka 主题,A和B。我正在尝试开发一个系统,从A中提取记录,对每个记录应用转换,然后将转换后的记录发布到B。在这种情况下,转换涉及通过 HTTP 调用 REST 端点。
作为 Kafka 的新手,我很高兴看到 Kafka Streams 项目已经解决了这类问题(consume-transform-publish)。不幸的是,我发现 Kafka 流中的转换是阻塞操作。本能地,我尝试以非阻塞、异步的方式调用 HTTP 端点。
这是否意味着 Kafka Streams 在这种情况下无法工作?这是否意味着我必须恢复以阻塞方式调用 REST 端点?这甚至是 Kafka Streams 可以接受的模式吗?基于流的数据处理对我来说还是比较新的,所以我并不完全熟悉它的并发模型。