python - spark中哪个函数用于通过key组合两个RDD

Question

假设我有以下两个 RDD，具有以下密钥对值。

rdd1 = [ (key1, [value1, value2]), (key2, [value3, value4]) ]

和

rdd2 = [ (key1, [value5, value6]), (key2, [value7]) ]

现在，我想通过键值加入它们，例如我想返回以下内容

ret = [ (key1, [value1, value2, value5, value6]), (key2, [value3, value4, value7]) ] 

在使用 Python 或 Scala 的 spark 中，我该如何做到这一点？一种方法是使用 join，但 join 会在元组内创建一个元组。但我希望每个键值对只有一个元组。

Answer 1

只需使用join然后map生成的rdd。

rdd1.join(rdd2).map(case (k, (ls, rs)) => (k, ls ++ rs))

Answer 2

我会将这两个 RDD 合并到一个 reduceByKey 来合并这些值。

(rdd1 union rdd2).reduceByKey(_ ++ _)