7

我有两个 csv 文件需要比较，然后吐出差异：

CSV 格式：

 Name   Produce   Number
 Adam   Apple     5
 Tom    Orange    4
 Adam   Orange    11

我需要比较两个 csv 文件，然后告诉我工作表和工作表 2 上的亚当斯苹果之间是否存在差异，并对所有名称执行此操作并生成数字。两个 CSV 文件的格式相同。

任何指针将不胜感激

4

6 回答 6

7

我用过 csvdiff

$pip install csvdiff
$csvdiff --style=compact col1 a.csv b.csv

链接到 pypi 上的包

我发现这个链接很有用

于 2016-07-23T12:48:00.677 回答
5

如果您的 CSV 文件不是那么大，如果您将它们加载到内存中，它们会使您的机器瘫痪，那么您可以尝试以下操作：

import csv
csv1 = list(csv.DictReader(open('file1.csv')))
csv2 = list(csv.DictReader(open('file2.csv')))
set1 = set(csv1)
set2 = set(csv2)
print set1 - set2 # in 1, not in 2
print set2 - set1 # in 2, not in 1
print set1 & set2 # in both

对于大文件，您可以将它们加载到 SQLite3 数据库中并使用 SQL 查询来执行相同操作，或者按相关键排序，然后进行匹配合并。

于 2012-06-19T20:40:12.743 回答
1 
import csv

def load_csv_to_dict(fname, get_key, get_data):
    with open(fname, 'rb') as inf:
        incsv = csv.reader(inf)
        incsv.next()  # skip header
        return {get_key(row):get_data(row) for row in incsv}

def main():
    key = lambda r: tuple(r[0:2])
    data = lambda r: int(r[2])
    f1 = load_csv_to_dict('file1.csv', key, data)
    f2 = load_csv_to_dict('file2.csv', key, data)

    f1keys = set(f1.iterkeys())
    f2keys = set(f2.iterkeys())

    print("Keys in file1 but not file2:")
    print(", ".join(str(a)+":"+str(b) for a,b in (f1keys-f2keys)))

    print("Keys in file2 but not file1:")
    print(", ".join(str(a)+":"+str(b) for a,b in (f2keys-f1keys)))

    print("Differing values:")
    for k in (f1keys & f2keys):
        a,b = f1[k], f2[k]
        if a != b:
            print("{}:{} {} <> {}".format(k[0],k[1], a, b))

if __name__=="__main__":
    main()
于 2012-06-19T20:37:59.660 回答
1

比较两个不同文件的最佳实用程序之一是diff.

请参阅此处的 Python 实现：Comparing two .txt files using difflib in Python

于 2012-06-19T20:21:14.647 回答
1

如果您想将 Python 的 csv 模块与函数生成器一起使用，您可以使用嵌套循环并比较大型 .csv 文件。下面的示例使用粗略的比较来比较每一行：

import csv

def csv_lazy_get(csvfile):
    with open(csvfile) as f:
        r = csv.reader(f)
        for row in r:
            yield row

def csv_cmp_lazy(csvfile1, csvfile2):
    gen_2 = csv_lazy_get(csvfile2)

    for row_1 in csv_lazy_get(csvfile1):
        row_2 = gen_2.next()

        print("row_1: ", row_1)
        print("row_2: ", row_2)

        if row_2 == row_1:
            print("row_1 is equal to row_2.")
        else:
            print("row_1 is not equal to row_2.")

    gen_2.close()
于 2012-06-20T13:00:33.710 回答
0

这里是一个不使用的开始difflib。这实际上只是一个构建点，因为也许亚当和苹果在纸上出现了两次；你能确保不是这样吗？应该将苹果相加，还是这是一个错误？

import csv
fsock = open('sheet.csv','rU')
rdr = csv.reader(fsock)
sheet1 = {}
for row in rdr:
    name, produce, amount = row
    sheet1[(name, produce)] = int(amount) # always an integer?
fsock.close()
# repeat the above for the second sheet, then compare

你明白吗？

于 2012-06-19T20:26:04.283 回答