给定两个数据框,如下所示:
>>> import pandas as pd
>>> df_a = pd.DataFrame([{"a": 1, "b": 4}, {"a": 2, "b": 5}, {"a": 3, "b": 6}])
>>> df_b = pd.DataFrame([{"c": 2, "d": 7}, {"c": 3, "d": 8}])
>>> df_a
a b
0 1 4
1 2 5
2 3 6
>>> df_b
c d
0 2 7
1 3 8
我们想使用非简单标准生成两个数据帧的 SQL 样式连接,比如说“df_b.c > df_a.a”。据我所知,虽然merge()
肯定是解决方案的一部分,但我不能直接使用它,因为它不接受“ON”标准的任意表达式(除非我遗漏了什么?)。
在 SQL 中,结果如下所示:
# inner join
sqlite> select * from df_a join df_b on c > a;
1|4|2|7
1|4|3|8
2|5|3|8
# outer join
sqlite> select * from df_a left outer join df_b on c > a;
1|4|2|7
1|4|3|8
2|5|3|8
3|6||
我目前的内部连接方法是生成 df_a 和 df_b 的笛卡尔积,方法是向两者添加一列“1”,然后在“1”列上使用 merge(),然后应用“c > a”标准。
>>> import numpy as np
>>> df_a['ones'] = np.ones(3)
>>> df_b['ones'] = np.ones(2)
>>> cartesian = pd.merge(df_a, df_b, left_on='ones', right_on='ones')
>>> cartesian
a b ones c d
0 1 4 1 2 7
1 1 4 1 3 8
2 2 5 1 2 7
3 2 5 1 3 8
4 3 6 1 2 7
5 3 6 1 3 8
>>> cartesian[cartesian.c > cartesian.a]
a b ones c d
0 1 4 1 2 7
1 1 4 1 3 8
3 2 5 1 3 8
对于外部联接,我不确定最好的方法,到目前为止,我一直在尝试获取内部联接,然后应用对标准的否定来获取所有其他行,然后尝试编辑该“否定” " 设置为原件,但它并没有真正起作用。
编辑. HYRY 在这里回答了具体问题,但我需要在 Pandas API 中更通用和更多的东西,因为我的加入标准可以是任何东西,而不仅仅是一个比较。对于外连接,首先我在“左侧”添加一个额外的索引,在我进行内连接后将保持自身:
df_a['_left_index'] = df_a.index
然后我们做笛卡尔并获得内部连接:
cartesian = pd.merge(df_a, df_b, left_on='ones', right_on='ones')
innerjoin = cartesian[cartesian.c > cartesian.a]
然后我在“df_a”中获得我们需要的额外索引 ID,并从“df_a”中获取行:
remaining_left_ids = set(df_a['_left_index']).\
difference(innerjoin['_left_index'])
remaining = df_a.ix[remaining_left_ids]
然后我们使用直接的 concat(),它将缺失的列替换为左侧的“NaN”(我认为它之前没有这样做,但我猜它确实如此):
outerjoin = pd.concat([innerjoin, remaining]).reset_index()
HYRY 仅在我们需要比较的那些列上进行笛卡尔计算的想法基本上是正确的答案,尽管在我的具体情况下,实现起来可能有点棘手(概括和全部)。
问题:
您将如何在“c > a”上生成 df_1 和 df_2 的“连接”?你会做同样的“笛卡尔积,过滤器”方法还是有更好的方法?
你将如何产生相同的“左外连接”?