apache-kafka - Kafka sink connect - 如何为每个主题（表）创建一个任务

Question

我们为名为 Ampool AD​​S 的产品实现了一个 kafka 接收器连接器，该连接器将来自 kafka 主题的数据提取到相应的 ampool 表中。主题和表格按其名称映射。

我需要将单个主题（从主题 ---> 表中摄取）处理为专用的接收器任务。

例如，如果我的配置包含 3 个不同的主题（topic1、topic2、topic3），Sink 连接器应该创建 3 个不同的接收器任务，每个任务（每个表）并行地对各自/映射的表进行专用摄取。

注意：将单个主题处理为专用接收器任务的原因是，如果特定表处于脱机/未创建状态，则其易于使用 RetriableException 机制。在配置的时间间隔后，只会重播单个主题/表记录。

使用kafka connect框架可以做到这一点，如果可以的话..？

Answer 1

如果您将任务数设置为等于分区数（我认为您可以从连接器代码中执行此操作 - 在创建配置时），那么每个任务将获得一个分区。