10

我有一个 pandas DataFrame，其中包含一组列的重复值。例如：

df = pd.DataFrame({'Column1': {0: 1, 1: 2, 2: 3}, 'Column2': {0: 'ABC', 1: 'XYZ', 2: 'ABC'}, 'Column3': {0: 'DEF', 1: 'DEF', 2: 'DEF'}, 'Column4': {0: 10, 1: 40, 2: 10})

In [2]: df
Out[2]: 
   Column1 Column2 Column3  Column4 is_duplicated  dup_index
0        1     ABC     DEF       10         False          0
1        2     XYZ     DEF       40         False          1
2        3     ABC     DEF       10          True          0

第 (1) 行和 (3) 行相同。本质上，第 (3) 行是第 (1) 行的副本。

我正在寻找以下输出：

Is_Duplicate，包含该行是否重复[可以通过对数据框列（Column2、Column3 和 Column4）使用“重复”方法来完成]

Dup_Index重复行的原始索引。

In [3]: df
Out[3]: 
   Column1 Column2 Column3  Column4  Is_Duplicate  Dup_Index
0        1     ABC     DEF       10         False          0
1        2     XYZ     DEF       40         False          1
2        3     ABC     DEF       10          True          0
4

2 回答 2

18

duplicated第一列有一个 DataFrame 方法：

In [11]: df.duplicated(['Column2', 'Column3', 'Column4'])
Out[11]: 
0    False
1    False
2     True

In [12]: df['is_duplicated'] = df.duplicated(['Column2', 'Column3', 'Column4'])

要做到第二个，你可以尝试这样的事情：

In [13]: g = df.groupby(['Column2', 'Column3', 'Column4'])

In [14]: df1 = df.set_index(['Column2', 'Column3', 'Column4'])

In [15]: df1.index.map(lambda ind: g.indices[ind][0])
Out[15]: array([0, 1, 0])

In [16]: df['dup_index'] = df1.index.map(lambda ind: g.indices[ind][0])

In [17]: df
Out[17]: 
   Column1 Column2 Column3  Column4 is_duplicated  dup_index
0        1     ABC     DEF       10         False          0
1        2     XYZ     DEF       40         False          1
2        3     ABC     DEF       10          True          0
于 2013-02-19T10:36:27.883 回答
4

假设您的数据框存储在df.

您可以使用groupby来获取数据框的非重复行。在这里，我们必须忽略不属于数据的 Column1：

df_nodup = df.groupby(by=['Column2', 'Column3', 'Column4']).first()

然后，您可以使用合并功能将此新数据框与原始数据框合并：

df = df.merge(df_nodup, left_on=['Column2', 'Column3', 'Column4'], right_index=True, suffixes=('', '_dupindex'))

您最终可以使用数据框中合并的 _dupindex 列来进行简单的数学运算以添加所需的列：

df['Is_Duplicate'] = df['Column1']!=df['Column1_dupindex']
df['Dup_Index'] = None
df['Dup_Index'] = df['Dup_Index'].where(df['Column1_dupindex']==df['Column1'], df['Column1_dupindex'])
del df['Column1_dupindex']
于 2013-02-19T10:29:49.963 回答