scala - 将不同的 Kafka Connect 实例发送到不同的 Kafka 主题

Question

我曾尝试使用一名工作人员以分布式模式将 Kafka Connnect 实例的信息发送到特定主题，我在启动实例时使用的“archive.properties”文件中有主题名称。

但是，当我发送五个或更多实例时，我看到消息合并到所有主题中。

我认为的“解决方案”是制作一张地图来存储 ID 和主题之间的关系，但它不起作用

是否有特定的 Kafka 连接实现来执行此操作？

谢谢。

Answer 1

首先，有关您如何运行连接以及您使用的连接器的详细信息将非常有帮助。

一些连接器支持向多个主题发送数据。例如，confluent-jdbc-sink 会将每个表发送到一个单独的主题。所以这可能是您使用的连接器的限制。

还取决于连接器和您的用例 - 您是否需要运行多个连接器。使用 JDBC 连接器，每个数据库需要一个连接器，它将处理所有表。如果你在同一个数据库和同一个表上运行两个连接器，你会得到重复的。

简而言之，希望您的连接器有有用的文档。

在 Apache Kafka 的下一个版本中，我们将添加单消息转换。其中一种转换可以根据事件中的数据修改目标主题 - 因此您可以使用转换来执行事件路由。