Find centralized, trusted content and collaborate around the technologies you use most.
Teams
Q&A for work
Connect and share knowledge within a single location that is structured and easy to search.
背景是我正在尝试使用 Redis 来存储 Kafka 偏移量。
如果允许前一个 RDD 晚于后一个 RDD 计算,我认为后一个 RDD 已经写入的偏移量将被前一个 RDD 覆盖。因此,下次重新启动 Spark 程序时可能会导致重复消费。