apache-spark - PySpark flatMap 以展平列表中的列表

Question

有没有办法flatMap像这样在 rdd 中展平列表：

rdd = sc.parallelize([[1,2,3],[6,7,8]])

rdd.flatMap(lambda r: [[r[0],r[1],r[2],[r[2]+1,r[2]+2]]]).collect()

我想要的输出：

[[1,2,3,4,5],[6,7,8,9,10]]

实际输出：

[[1,2,3,[4,5]], [6,7,8,[9,10]]]

我理解flatMap适当地展平数组，我对上面的实际输出并不感到困惑，但我想知道是否有办法有效地展平内部列表。

Answer 1

Please modify your code like below to get the desired output

rdd.flatMap(lambda r: [[r[0],r[1],r[2],r[2]+1,r[2]+2]]).collect()