57

有没有一种简单的方法来检查两个数据帧是否是不涉及操作的相同底层数据的不同副本或视图？我试图掌握每个规则的生成时间，并且考虑到规则看起来有多么特殊，我想要一种简单的测试方法。

例如，我认为“id(df.values)”在各个视图中是稳定的，但它们似乎不是：

# Make two data frames that are views of same data.
df = pd.DataFrame([[1,2,3,4],[5,6,7,8]], index = ['row1','row2'], 
       columns = ['a','b','c','d'])
df2 = df.iloc[0:2,:]

# Demonstrate they are views:
df.iloc[0,0] = 99
df2.iloc[0,0]
Out[70]: 99

# Now try and compare the id on values attribute
# Different despite being views! 

id(df.values)
Out[71]: 4753564496

id(df2.values)
Out[72]: 4753603728

# And we can of course compare df and df2
df is df2
Out[73]: False

我查找的其他答案试图给出规则，但似乎不一致，也没有回答如何测试的问题：

当然： - http://pandas.pydata.org/pandas-docs/stable/indexing.html#returning-a-view-versus-a-copy

更新：下面的评论似乎回答了这个问题——看df.values.base属性而不是df.values属性，对属性的引用也是如此df._is_copy（尽管后者可能是非常糟糕的形式，因为它是内部的）。

4

3 回答 3

44

HYRY 和 Marius 在评论中的回答！

可以通过以下方式进行检查：

  • 测试属性的等价性values.base而不是values属性，如：

    df.values.base is df2.values.base而不是df.values is df2.values.

  • 或使用（公认的内部）_is_view属性（df2._is_viewis True）。

感谢大家！

于 2014-11-12T17:38:16.990 回答
12

我已经用pandas 1.0.1详细说明了这个例子。不仅有一个布尔_is_view属性，而且还_is_copy可以是None或对原始 DataFrame 的引用：

df = pd.DataFrame([[1,2,3,4],[5,6,7,8]], index = ['row1','row2'], 
        columns = ['a','b','c','d'])
df2 = df.iloc[0:2, :]
df3 = df.loc[df['a'] == 1, :]

# df is neither copy nor view
df._is_view, df._is_copy
Out[1]: (False, None)

# df2 is a view AND a copy
df2._is_view, df2._is_copy
Out[2]: (True, <weakref at 0x00000236635C2228; to 'DataFrame' at 0x00000236635DAA58>)

# df3 is not a view, but a copy
df3._is_view, df3._is_copy
Out[3]: (False, <weakref at 0x00000236635C2228; to 'DataFrame' at 0x00000236635DAA58>)

因此，检查这两个属性不仅可以告诉您是否正在处理视图，还可以告诉您是否有副本或“原始”DataFrame。

另请参阅此线程的讨论，解释为什么您不能总是预测您的代码是否会返回视图。

于 2020-04-15T23:29:53.003 回答
0

您可能会跟踪您的 pandas/python 环境正在消耗的内存，并且假设副本将使用比视图更多的内存，因此能够决定一种或另一种方式。

我相信那里有一些库可以展示python环境本身的内存使用情况——例如Heapy/Guppy。

应该有一个可以应用的度量标准，在创建被检查对象之前拍摄内存使用情况的基线图片，然后再拍摄另一张图片。比较两个内存映射（假设没有创建任何其他内容并且我们可以隔离更改是由于新对象引起的）应该可以了解是否已生成视图或副本。

我们需要了解每种实现类型的不同内存配置文件，但一些实验应该会产生结果。

于 2014-11-12T16:51:31.017 回答