2

我有三个 Spark Streaming 作业,用于ConsumerStrategies.Assign[]()寻找提交到数据库中的最新偏移量。

这些作业中的每一个都从主题中的三个分区之一读取(例如:分区 0,1 和 2)。如果其中一个 Spark Streaming 作业失败,是否可以将该分区重新平衡到当前正在运行的其他两个作业之一。

我知道您可以在普通 Kafka 中使用ConsumerRebalanceListener,onPartitionsProvoked()onPartitionsAssigned(). 但是你将如何在 Spark-Streaming-Kafka 中做到这一点?

4

0 回答 0