我正在开发具有以下目标的 POC:
一个。使用 Kafka Connect JDBC Source 连接器将 Oracle DB 表中的数据写入主题(例如:PARENT、CHILD)。[达到]
湾。将这些主题转换为 Kafka 流(PARENT_TOPIC -> PARENT_STREAM 和 CHILD_TOPIC -> CHILD_STREAM)[ACHIEVED]
C。遍历 PARENT_STREAM 并根据连接列从 CHILD_STREAM 获取相应的 CHILD 记录
d。转换每个 PARENT 记录和相应的 CHILD 记录并创建一个 POJO(Parent has List)。
e. 使用上述 POJO 创建 JSON 对象以进行进一步处理。
目前,我一直在努力实现 (c) 点 - 所有示例/演示似乎都在进行简单的转换(查找计数)。Stream Joins/Windows 似乎不符合我的要求。
请提出实现上述目标的方法。此外,这是实现最终目标的正确方法吗?