2

我有一个用例,我开始根据键对数据进行分区。属于一个键的所有数据都保留在一个分区上。例如

键 1 -> 分区 1 键 2 -> 分区 2

现在一段时间后,我可能需要合并 key1 和 key2。因此,我只想将所有数据从 key2 传输到 key1,即从 partition2 传输到 partition1。在apache spark中可以吗?我不想重新分区所有内容,因为这对我来说代价高昂。

4

0 回答 0