我想在 list_id 列上的两个 df1 df2 数据帧之间进行比较:
df1 =
+---------+
| list_id|
+---------+
|[1, 2, 3]|
|[4, 5, 6]|
|[7, 8, 9]|
+---------+
df2 =
+------------+
| list_id|
+------------+
| [10, 3, 11]|
|[12, 13, 14]|
| [15, 6, 16]|
+------------+
期望的结果是:
df2 =
+-------------------+
| list_id|
+-------------------+
| [1, 2, 3, 10, 11] |
| [4, 5, 6, 15, 16] |
| [7, 8, 9] |
| [12, 13, 14] |
+-------------------+
我的目标是连接它们的交集不为空的列表,并使其他列表与 pyspark 保持原样。
注意:我的数据框非常大,使用 Spark Sql 的连接是不可能的。