0

背景是我正在尝试使用 Redis 来存储 Kafka 偏移量。

如果允许前一个 RDD 晚于后一个 RDD 计算,我认为后一个 RDD 已经写入的偏移量将被前一个 RDD 覆盖。因此,下次重新启动 Spark 程序时可能会导致重复消费。

4

0 回答 0