5

我在删除重复项时遇到问题。我的程序基于一个循环，该循环生成元组 (x,y)，然后将其用作图中的节点。最终的节点数组/矩阵是：

[[ 1.          1.        ]
[ 1.12273268  1.15322175]
[..........etc..........]
[ 0.94120695  0.77802849]
**[ 0.84301344  0.91660517]**
[ 0.93096269  1.21383287]
**[ 0.84301344  0.91660517]**
[ 0.75506418  1.0798641 ]]

数组的长度是 22。现在，我需要删除重复的条目（参见 **）。所以我用：

def urows(array):
    df = pandas.DataFrame(array)
    df.drop_duplicates(take_last=True)
    return df.drop_duplicates(take_last=True).values

太棒了，但我仍然得到：

           0         1
0   1.000000  1.000000
....... etc...........
17  1.039400  1.030320
18  0.941207  0.778028
**19  0.843013  0.916605**
20  0.930963  1.213833
**21  0.843013  0.916605**

因此，删除重复项不会删除任何内容。我测试了节点是否实际上相同，我得到：

print urows(total_nodes)[19,:]
---> [ 0.84301344  0.91660517]
print urows(total_nodes)[21,:]
---> [ 0.84301344  0.91660517]
print urows(total_nodes)[12,:] - urows(total_nodes)[13,:]
---> [ 0.  0.]

为什么它不起作用？？？我怎样才能删除那些重复的值？？？

还有一个问题....

假设两个值“几乎”相等（例如 x1 和 x2），有没有办法以它们都相等的方式替换它们？？？？如果它们“几乎”相等，我想要的是用 x1 替换 x2。

4

2 回答 2

6

如果我复制粘贴您的数据，我会得到：

>>> df
          0         1
0  1.000000  1.000000
1  1.122733  1.153222
2  0.941207  0.778028
3  0.843013  0.916605
4  0.930963  1.213833
5  0.843013  0.916605
6  0.755064  1.079864

>>> df.drop_duplicates() 
          0         1
0  1.000000  1.000000
1  1.122733  1.153222
2  0.941207  0.778028
3  0.843013  0.916605
4  0.930963  1.213833
6  0.755064  1.079864

因此它实际上已被删除，而您的问题是数组并不完全相等（尽管它们的差异四舍五入为 0 以进行显示）。

一种解决方法是将数据四舍五入到许多小数位适用于类似的东西df.apply(np.round, args=[4])，然后删除重复项。如果您想保留原始数据但删除重复的行直到四舍五入，您可以使用类似的东西

df = df.ix[~df.apply(np.round, args=[4]).duplicated()]

这是一种非常笨拙的方法来做你所要求的，将几乎相等的值设置为实际上相等：

grouped = df.groupby([df[i].round(4) for i in df.columns])
subbed = grouped.apply(lambda g: g.apply(lambda row: g.irow(0), axis=1))
subbed.drop_index(level=list(df.columns), drop=True, inplace=True)

这会重新排序数据框，但如果需要，您可以调用.sort()以将它们恢复为原始顺序。

说明：第一行用于groupby按四舍五入的值对数据框进行分组。不幸的是，如果你给 groupby 一个函数，它会将它应用于标签而不是行（所以你可以这样做df.groupby(lambda k: np.round(df.ix[k], 4))，但这也很糟糕）。

第二行使用applygroupby 上的方法将几乎重复的行的数据框替换为g新的数据框g.apply(lambda row: g.irow(0), axis=1)。这使用数据帧上的apply方法将每一行替换为组的第一行。

结果看起来像

                        0         1
0      1                           
0.7551 1.0799 6  0.755064  1.079864
0.8430 0.9166 3  0.843013  0.916605
              5  0.843013  0.916605
0.9310 1.2138 4  0.930963  1.213833
0.9412 0.7780 2  0.941207  0.778028
1.0000 1.0000 0  1.000000  1.000000
1.1227 1.1532 1  1.122733  1.153222

wheregroupby已将四舍五入的值作为索引插入。然后该reset_index行删除这些列。

希望比我更了解熊猫的人会过来并展示如何更好地做到这一点。

于 2013-05-02T15:48:56.947 回答
1

类似于@Dougal 的答案，但方式略有不同

In [20]: df.ix[~(df*1e6).astype('int64').duplicated(cols=[0])]
Out[20]: 
          0         1
0  1.000000  1.000000
1  1.122733  1.153222
2  0.941207  0.778028
3  0.843013  0.916605
4  0.930963  1.213833
6  0.755064  1.079864
于 2013-05-02T16:09:13.030 回答