apache-kafka - 如何加入多个Kafka主题？

Question

所以我有...

第一个具有通用应用程序日志 (log4j) 的主题。存储诸如 HTTP API 请求/响应和警告、异常等内容……可以有多个日志与一个逻辑业务请求相关联。（这些日志在几秒钟内发生）
第二个主题包含来自上述业务请求的命令，其他服务对其采取行动。（这些命令也会在几秒钟内发生，但可能距离原始请求几分钟）
第三个主题包含由其他服务的操作生成的事件。（大多数事件在几秒钟内完成，但有些可能需要 3-5 天才能收到）

因此，单个逻辑业务请求可以通过微服务相互传递的 uuid 关联多个日志、命令和事件。

那么有哪些技术/模式可用于阅读这 3 个主题并将它们全部连接为一个 json 文档，然后将它们转储到 Elasticsearch 中？

流媒体？

score 6 · Accepted Answer

您可以使用 Kafka Streams 或 KSQL 来实现此目的。哪一个取决于您对 Java 的偏好/经验，以及您想要执行的连接的细节。

KSQL是 Apache Kafka 的 SQL 流引擎，仅使用 SQL，您就可以针对 Kafka 主题声明流处理应用程序。您可以过滤、丰富和聚合主题。目前仅支持流表连接。您可以在此处查看本文中的示例

Kafka Streams API是 Apache Kafka 的一部分，它是一个 Java 库，可用于在 Apache Kafka 中对数据进行流处理。它实际上是基于 KSQL 构建的，并且支持更大的处理灵活性，包括流-流连接。

score 2 · Accepted Answer

您可以使用 KSQL 加入流。

使用 KSQL 的好处。

退税。

请看一看。

score -2 · Accepted Answer

3 回答 3