0

我正在尝试为我的 Kafka Connect Sink 指定一个主题分区。特别是,我正在使用DataStax Apache Kafka Connector

有大量与为 Kafka Consumer 指定主题分区相关的文档和资源,例如:

但是,我根本找不到任何关于如何指定给定 Kafka Connect Sink 连接器读取哪个分区的信息。

似乎Confluent 连接器开发人员文档暗示应该可以指定分区,但我没有看到可以在通用Kafka Sink 配置属性文档DSE Kafka 连接器配置文档中设置的任何配置。

我的理解是,Kafka Connect Sink 基本上是写入给定数据存储的 Kafka Consumer 的特定实现。如果是这样,应该可以指定一个分区,对吗?还是我误解了 Kafka 连接器的工作原理?

4

1 回答 1

1

您不能在 Connect API 中指定分区。它订阅所有分区,然后作为消费者组的一部分在工作任务中分配消费者实例。

于 2021-08-27T17:48:13.780 回答