我正在使用 Kafka 来处理日志事件。我对简单的连接器和流转换有 Kafka Connect 和 Kafka Streams 的基本知识。
现在我有一个具有以下结构的日志文件：
timestamp event_id event
日志事件有多个由 event_id 连接的日志行（例如邮件日志）
例子：
1234 1 START
1235 1 INFO1
1236 1 INFO2
1237 1 END
通常有多个事件：
例子：
1234 1 START
1234 2 START
1235 1 INFO1
1236 1 INFO2
1236 2 INFO3
1237 1 END
1237 2 END
时间窗口（在 START 和 END 之间）最长可达 5 分钟。
结果我想要一个像
event_id combined_log
例子：
1 START,INFO1,INFO2,END
2 START,INFO2,END
实现这一目标的正确工具是什么？我试图用 Kafka Streams 解决它，但我可以弄清楚如何..
在您的用例中，您实际上是在基于消息有效负载重建会话或事务。目前还没有对此类功能的内置、即用型支持。但是，您可以使用 Kafka 的 Streams API 的处理器 API 部分自己实现此功能。您可以编写自定义处理器，使用状态存储来跟踪对于给定键的会话/事务何时开始、添加和结束。
邮件列表中的一些用户一直在做 IIRC，尽管我不知道我可以指出你的现有代码示例。
您需要注意的是正确处理乱序数据。在上面的示例中，您按正确顺序列出了所有输入数据：
1234 1 START
1234 2 START
1235 1 INFO1
1236 1 INFO2
1236 2 INFO3
1237 1 END
1237 2 END
但在实践中，消息/记录可能会乱序到达，就像这样（我只显示带有键的消息1以简化示例）：
1234 1 START
1237 1 END
1236 1 INFO2
1235 1 INFO1
即使发生这种情况，我知道在您的用例中，您仍然希望将此数据解释为：START -> INFO1 -> INFO2 -> END而不是START -> END（忽略/丢弃INFO1和INFO2= 数据丢失）或START -> END -> INFO2 -> INFO1（不正确的顺序，可能也违反您的语义约束）。