0

这可能是一个非常简单的问题。

但我自己并没有走得太远。

我正在尝试在 Databricks 中使用 PySpark 来执行相当于查询的 SQL：

select 
    a.*
    , b.MASTER_ID as PLAYER_ID 
from vGame a
join PLAYER_XREF b 
on a.PLAYER_NAME = b.PLAYER

请注意，两侧的两个属性on名称不同。

你能告诉我相同的pyspark版本吗？在我看来，与此相比，这里的许多切线帖子都超过了顶级复杂。

我发现了这个，这真的很接近，但返回的数据框是 ta & tb 的所有列。

inner_join = ta.join(tb, ta.name == tb.name)

4

2 回答 2

1

我可以单独列出所有ta列并将一列别名为tb：

from pyspark.sql.functions import *

inner_join = ta.join(tb, ta.PLAYER_NAME == tb.PLAYER).select('<taCol1>', '<taCol2>', ... col('MASTER_ID').alias('PLAYER_ID'))

display(inner_join)
于 2019-01-31T00:51:07.010 回答
0

逻辑：

1.) 我们首先将 ta 数据框中的 player_name 重命名为 player 以便我们可以加入

2.) 一旦 columnNames 相同，我们可以使用方括号 [] 进行连接

3.) 我们还从数据框 ta 中动态选择列

代码：

ta = ta.withColumn("player_name","player")
inner_join = ta.join(tb,["player"]).select(col(x) for x in ta.columns])
于 2019-01-31T03:13:51.257 回答