python - 比较两个熊猫数据框的差异

Question

我有一个更新 5-10 列数据的脚本，但有时开始 csv 将与结束 csv 相同，所以我不想写一个相同的 csvfile 我希望它什么都不做......

如何比较两个数据框以检查它们是否相同？

csvdata = pandas.read_csv('csvfile.csv')
csvdata_old = csvdata

# ... do stuff with csvdata dataframe

if csvdata_old != csvdata:
    csvdata.to_csv('csvfile.csv', index=False)

有任何想法吗？

Answer 1

您还需要小心创建 DataFrame 的副本，否则 csvdata_old 将使用 csvdata 更新（因为它指向同一个对象）：

csvdata_old = csvdata.copy()

要检查它们是否相等，您可以在此答案中使用 assert_frame_equal：

from pandas.util.testing import assert_frame_equal
assert_frame_equal(csvdata, csvdata_old)

您可以将其包装在一个函数中，例如：

try:
    assert_frame_equal(csvdata, csvdata_old)
    return True
except:  # appeantly AssertionError doesn't catch all
    return False

讨论了更好的方法...

Answer 2

不确定这是否有用，但我将这个快速的 python 方法组合在一起，只返回两个具有相同列和形状的数据帧之间的差异。

def get_different_rows(source_df, new_df):
    """Returns just the rows from the new dataframe that differ from the source dataframe"""
    merged_df = source_df.merge(new_df, indicator=True, how='outer')
    changed_rows_df = merged_df[merged_df['_merge'] == 'right_only']
    return changed_rows_df.drop('_merge', axis=1)

Answer 3

不确定在发布问题时这是否存在，但熊猫现在有一个内置函数来测试两个数据帧之间的相等性：http: //pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame .equals.html。

Answer 4

检查使用：df_1.equals(df_2) # Returns True or False，详情如下

In [45]: import numpy as np

In [46]: import pandas as pd

In [47]: np.random.seed(5)

In [48]: df_1= pd.DataFrame(np.random.randn(3,3))

In [49]: df_1
Out[49]: 
          0         1         2
0  0.441227 -0.330870  2.430771
1 -0.252092  0.109610  1.582481
2 -0.909232 -0.591637  0.187603

In [50]: np.random.seed(5)

In [51]: df_2= pd.DataFrame(np.random.randn(3,3))

In [52]: df_2
Out[52]: 
          0         1         2
0  0.441227 -0.330870  2.430771
1 -0.252092  0.109610  1.582481
2 -0.909232 -0.591637  0.187603

In [53]: df_1.equals(df_2)
Out[53]: True


In [54]: df_3= pd.DataFrame(np.random.randn(3,3))

In [55]: df_3
Out[55]: 
          0         1         2
0 -0.329870 -1.192765 -0.204877
1 -0.358829  0.603472 -1.664789
2 -0.700179  1.151391  1.857331

In [56]: df_1.equals(df_3)
Out[56]: False

Answer 5

更准确的比较应该单独检查索引名称，因为DataFrame.equals不会对此进行测试。所有其他属性（索引值（单/多索引）、值、列、dtypes）都由它正确检查。

df1 = pd.DataFrame([[1, 'a'], [2, 'b'], [3, 'c']], columns=['num', 'name'])
df1 = df1.set_index('name')
df2 = pd.DataFrame([[1, 'a'], [2, 'b'], [3, 'c']], columns=['num', 'another_name'])
df2 = df2.set_index('another_name')

df1.equals(df2)
True

df1.index.names == df2.index.names
False

注意：使用index.names而不是index.name使其也适用于多索引数据帧。

Answer 6

这会比较两个数据框的值，注意表之间的行/列数需要相同

comparison_array = table.values == expected_table.values
print (comparison_array)

>>>[[True, True, True]
    [True, False, True]]

if False in comparison_array:
    print ("Not the same")

#Return the position of the False values
np.where(comparison_array==False)

>>>(array([1]), array([1]))

然后，您可以使用此索引信息返回表之间不匹配的值。由于它的索引为零，因此它指的是第二个位置的第二个数组，这是正确的。

Answer 7

就我而言，我遇到了一个奇怪的错误，即使索引、列名和值相同，但DataFrames不匹配。我追踪到数据类型，似乎pandas有时可以使用不同的数据类型，导致这样的问题

例如：

param2 = pd.DataFrame({'a': [1]}) param1 = pd.DataFrame({'a': [1], 'b': [2], 'c': [2], 'step': ['alpha']})

如果你检查param1.dtypesand param2.dtypes，你会发现 'a' 是 for 的类型object，param1并且是int64for的类型param2。现在，如果您使用param1和的组合进行一些操作param2，数据框的其他参数将偏离默认参数。

因此，在生成最终数据帧后，即使打印出来的实际值相同，final_df1.equals(final_df2), 也可能结果不相等，因为那些像Axis 1, ObjectBlock, 之类的小参数IntBlock可能不一样。

解决此问题并比较值的一种简单方法是使用

final_df1==final_df2.

但是，这将逐个元素进行比较，因此如果您使用它来断言例如 in 中的语句，它将不起作用pytest。

TL;博士

行之有效的是

all(final_df1 == final_df2).

这将逐个元素进行比较，同时忽略对比较不重要的参数。

TL;DR2

如果您的值和索引相同，但final_df1.equals(final_df2)显示False，您可以使用final_df1._data和final_df2._data检查数据框的其余元素。

Answer 8

拉出对称差异：

df_diff = pd.concat([df1,df2]).drop_duplicates(keep=False)

例如：

df1 = pd.DataFrame({
    'num': [1, 4, 3],
    'name': ['a', 'b', 'c'],
})
df2 = pd.DataFrame({
    'num': [1, 2, 3],
    'name': ['a', 'b', 'd'],
})

将产生：

注意：在 pandas 的下一个版本之前，为避免将来如何设置 sort 参数的警告，只需添加sort=False参数即可。如下：

df_diff = pd.concat([df1,df2], sort=False).drop_duplicates(keep=False)

Answer 9

我希望下面的代码片段对您有所帮助！

import pandas as pd
import datacompy

df_old_original = pd.DataFrame([[1, 1, 1, 1], [2, 2, 2, 2], [7, 7, 7, 7], [3, 3, 3, 3], [4, 4, 4, 4], [7, 7, 7, 7], [5, 5, 5, 5], [6, 6, 6, 6]], columns=['A', 'B', 'C', 'D'], index=[0, 1, 2, 3, 4, 5, 6, 7], dtype=object)
df_new_original = pd.DataFrame([[None, None, None, None], [1, 1, 1, 1], [2, 2, 2, 2], [8, 8, 8, 8], [3, 3, 3, 3], [4, 4, 4, 4], [7, 7, 7, 7], [5, 5, 5, 5], [None, None, None, None]], columns=['A', 'B', 'C', 'D'], index=[0, 1, 2, 3, 4, 5, 6, 7, 8], dtype=object)

compare = datacompy.Compare(df_old_original, df_new_original, join_columns=['A', 'B', 'C', 'D'], abs_tol=0, rel_tol=0, df1_name='Old', df2_name='New')
changes_in_old_df = compare.df1_unq_rows
changes_in_new_df = compare.df2_unq_rows
print(changes_in_old_df)
print(changes_in_new_df)
print(Compare.report())