我的 Kafka 主题有三个分区,我想知道我是否可以从三个分区中的一个分区中读取。我的消费者是 spark 结构化流应用程序。
下面是我在 spark 中现有的 kafka 设置。
val inputDf = spark.readStream
.format("kafka")
.option("kafka.bootstrap.servers", brokers)
.option("subscribe", topic)
.option("startingOffsets", "latest")
.load()