我有一个这样的 csv 文件:
column1 column2
john kerry
adam stephenson
ashley hudson
john kerry
etc..
我想从此文件中删除重复项,仅获取:
column1 column2
john kerry
adam stephenson
ashley hudson
我编写了这个脚本,它根据姓氏删除重复项,但我需要根据姓氏和名字删除重复项。
import csv
reader=csv.reader(open('myfilewithduplicates.csv', 'r'), delimiter=',')
writer=csv.writer(open('myfilewithoutduplicates.csv', 'w'), delimiter=',')
lastnames = set()
for row in reader:
if row[1] not in lastnames:
writer.writerow(row)
lastnames.add( row[1] )