1

我有一个需要重复数据删除的名称和地址数据框。问题是其中一些字段可能有拼写错误，即使它们仍然是重复的。例如，假设我有这个数据框：

  index  name          zipcode
-------  ----------  ---------
      0  john doe        12345
      1  jane smith      54321
      2  john dooe       12345
      3  jane smtih      54321

拼写错误可能出现在名称或邮政编码中，但让我们担心这个问题的名称。显然 0 和 2 和 1 和 3 一样是重复的。但是计算上最有效的方法是什么？

我一直在使用 Levenshtein 距离来计算来自fuzzywuzzy 包的两个字符串之间的距离，当数据框很小并且我可以通过以下方式迭代它时效果很好：

from fuzzywuzzy import fuzz

for index, row in df.iterrows():
    for index2, row2 in df.iterrows():
        ratio = fuzz.partial_ratio(row['name'], row2['name'])

        if ratio > 90:  # A good threshold for single character typos on names
            # Do something to declare a match and throw out the duplicate

显然这不是一种可以很好扩展的方法，不幸的是我需要对大约 7M 行长的数据帧进行重复数据删除。显然，如果我还需要对邮政编码中的潜在拼写错误进行重复数据删除，情况会变得更糟。是的，我可以用 来做到这一点.itertuples()，这将使我的速度提高约 100 倍，但我是否错过了比这个笨重的O(n^2)解决方案更明显的东西？

有没有更有效的方法可以对这些嘈杂的数据进行重复数据删除？我已经研究了dedupe 包，但这需要标记数据用于监督学习，我没有任何也没有印象，这个包将处理无监督学习。我可以推出自己的无监督文本聚类算法，但如果有现有的更好的方法，我宁愿不必走那么远。

4

3 回答 3

1

包pandas-dedupe可以帮助您完成任务。

pandas-dedupe 的工作原理如下：首先它要求您标记一堆他最困惑的记录。之后，他使用这些知识来解决重复实体。就是这样:)

您可以尝试以下方法：

import pandas as pd
from pandas_dedupe import dedupe_dataframe

df = pd.DataFrame.from_dict({'name':['john', 'mark', 'frank', 'jon', 'john'], 'zip':['11', '22', '33', '11', '11']})

dd = dedupe_dataframe(df, ['name', 'zip'], canonicalize=True, sample_size=1)

然后控制台将要求您标记一些示例。如果重复点击'y'，否则点击'n'。完成后单击“f”完成。然后它将对整个数据帧执行重复数据删除。

于 2020-07-12T16:16:26.437 回答
0

string-grouper包非常适合这个。它使用带有 N-Grams 的 TF-IDF，并且比 levenshtein 快得多。

from string_grouper import group_similar_strings

def group_strings(strings: List[str]) -> Dict[str, str]:
    series = group_similar_strings(pd.Series(strings))

    name_to_canonical = {}
    for i, s in enumerate(strings):
        deduped = series[i]
        if (s != deduped):
            name_to_canonical[s] = deduped

    return name_to_canonical
于 2020-05-25T22:58:06.130 回答
0

对于邮政编码，我可以相当自信地声明，如果没有一些字段验证机制，您将无法检测到拼写错误（两个邮政编码可能看起来非常接近，并且都是有效的邮政编码）

如果对数据进行了排序，并对错字的位置进行了一些假设（第一个字母极不可能，除非在常见替换的情况下），您可能可以利用这一点并将它们作为不同的每个字母块进行搜索。如果您假设姓氏相同，则可以将它们分成 26^2 个不同的子组，并且只让它们在其字段中搜索。

您也可以尝试一种仅查看原始名字和姓氏的方法。如果您正在搜索 700 万个项目，并且您有 6 万个“Johns”，您只需将它们与“Jhon”比较一次即可找到错误，然后搜索“Jhon”并删除或修复它。但这再次假设您将其分解为框架内的名字和姓氏系列（使用熊猫的 str.extract()，使用 "([\w]+) ([\w]+ )" 或一些如您的正则表达式，根据数据要求）

于 2018-01-01T23:27:07.227 回答