如何获得一个字符串与 Python 中另一个字符串相似的概率？
我想得到一个十进制值，比如 0.9（意思是 90%）等。最好使用标准 Python 和库。
例如
similar("Apple","Appel") #would have a high prob.
similar("Apple","Mango") #would have a lower prob.
问问题
305716 次
14 回答
730
有一个内置的。
from difflib import SequenceMatcher
def similar(a, b):
return SequenceMatcher(None, a, b).ratio()
使用它：
>>> similar("Apple","Appel")
0.8
>>> similar("Apple","Mango")
0.0
于 2013-06-30T08:18:52.187 回答
79
我想也许您正在寻找一种描述字符串之间距离的算法。这里有一些你可以参考：
于 2013-06-30T08:45:51.170 回答
77
解决方案 #1：Python 内置
优点：原生 python 库，不需要额外的包。
缺点：太有限了，还有很多其他好的字符串相似度算法。
>>> from difflib import SequenceMatcher
>>> s = SequenceMatcher(None, "abcd", "bcde")
>>> s.ratio()
0.75
解决方案#2：水母库
它是一个非常好的图书馆，覆盖面广，问题少。它支持：
- Levenshtein 距离
- Damerau-Levenshtein 距离
- Jaro 距离
- Jaro-Winkler 距离
- 比赛评级方法比较
- Hamming 距离
优点：易于使用，支持的算法范围广泛，经过测试。
缺点：不是本机库。
示例：
>>> import jellyfish
>>> jellyfish.levenshtein_distance(u'jellyfish', u'smellyfish')
2
>>> jellyfish.jaro_distance(u'jellyfish', u'smellyfish')
0.89629629629629637
>>> jellyfish.damerau_levenshtein_distance(u'jellyfish', u'jellyfihs')
1
于 2017-09-08T22:49:25.287 回答
35
TheFuzz是一个在 python 中实现 Levenshtein 距离的包，在某些情况下，您可能希望两个不同的字符串被认为是相同的。例如：
>>> fuzz.ratio("fuzzy wuzzy was a bear", "wuzzy fuzzy was a bear")
91
>>> fuzz.token_sort_ratio("fuzzy wuzzy was a bear", "wuzzy fuzzy was a bear")
100
于 2017-01-18T22:26:29.453 回答
15
您可以创建如下函数：
def similar(w1, w2):
w1 = w1 + ' ' * (len(w2) - len(w1))
w2 = w2 + ' ' * (len(w1) - len(w2))
return sum(1 if i == j else 0 for i, j in zip(w1, w2)) / float(len(w1))
于 2013-06-30T07:41:14.387 回答
10
包裹距离包括Levenshtein距离：
import distance
distance.levenshtein("lenvestein", "levenshtein")
# 3
于 2017-04-10T22:02:30.677 回答
8
注意，difflib.SequenceMatcher 只找到最长的连续匹配子序列，这通常不是我们想要的，例如：
>>> a1 = "Apple"
>>> a2 = "Appel"
>>> a1 *= 50
>>> a2 *= 50
>>> SequenceMatcher(None, a1, a2).ratio()
0.012 # very low
>>> SequenceMatcher(None, a1, a2).get_matching_blocks()
[Match(a=0, b=0, size=3), Match(a=250, b=250, size=0)] # only the first block is recorded
寻找两个字符串之间的相似性与生物信息学中成对序列比对的概念密切相关。有许多专门的库，包括biopython。这个例子实现了Needleman Wunsch 算法：
>>> from Bio.Align import PairwiseAligner
>>> aligner = PairwiseAligner()
>>> aligner.score(a1, a2)
200.0
>>> aligner.algorithm
'Needleman-Wunsch'
使用 biopython 或其他生物信息学包比 python 标准库的任何部分都更灵活，因为有许多不同的评分方案和算法可用。此外，您实际上可以获取匹配序列以可视化正在发生的事情：
>>> alignment = next(aligner.align(a1, a2))
>>> alignment.score
200.0
>>> print(alignment)
Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-Apple-
|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-|||-|-
App-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-elApp-el
于 2019-12-04T09:36:50.777 回答
6
内置SequenceMatcher在大输入时非常慢，这是使用diff-match-patch完成的方法：
from diff_match_patch import diff_match_patch
def compute_similarity_and_diff(text1, text2):
dmp = diff_match_patch()
dmp.Diff_Timeout = 0.0
diff = dmp.diff_main(text1, text2, False)
# similarity
common_text = sum([len(txt) for op, txt in diff if op == 0])
text_length = max(len(text1), len(text2))
sim = common_text / text_length
return sim, diff
于 2018-04-30T14:24:03.470 回答
6
BLEU评分
BLEU，或双语评估研究，是将文本的候选翻译与一个或多个参考翻译进行比较的分数。
完全匹配的得分为 1.0，而完全不匹配的得分为 0.0。
虽然是为翻译而开发的，但它可用于评估为一套自然语言处理任务生成的文本。
代码：
import nltk
from nltk.translate import bleu
from nltk.translate.bleu_score import SmoothingFunction
smoothie = SmoothingFunction().method4
C1='Text'
C2='Best'
print('BLEUscore:',bleu([C1], C2, smoothing_function=smoothie))
示例：通过更新 C1 和 C2。
C1='Test' C2='Test'
BLEUscore: 1.0
C1='Test' C2='Best'
BLEUscore: 0.2326589746035907
C1='Test' C2='Text'
BLEUscore: 0.2866227639866161
您还可以比较句子相似度：
C1='It is tough.' C2='It is rough.'
BLEUscore: 0.7348889200874658
C1='It is tough.' C2='It is tough.'
BLEUscore: 1.0
于 2021-02-15T11:53:58.460 回答
3
您可以在此链接下找到大多数文本相似度方法及其计算方法：https ://github.com/luozhouyang/python-string-similarity#python-string-similarity 这里有一些例子；
归一化、度量、相似性和距离
（归一化）相似度和距离
公制距离
- 基于带状疱疹（n-gram）的相似性和距离
- 文史丹
- 规范化的文史丹
- 加权文体
- Damerau-Levenshtein
- 最佳字符串对齐
- 雅罗-温克勒
- 最长公共子序列
- 公制最长公共子序列
- N-Gram
- 基于 Shingle(n-gram) 的算法
- Q-Gram
- 余弦相似度
- 杰卡德指数
- Sorensen-Dice 系数
- 重叠系数（即，Szymkiewicz-Simpson）
于 2020-04-09T14:38:34.620 回答
2
如上所述，有许多指标可以定义字符串之间的相似性和距离。我将通过展示with的示例和Jaccard similaritywith的示例来给出我的 5 美分。Q-Gramsedit distance
图书馆
from nltk.metrics.distance import jaccard_distance
from nltk.util import ngrams
from nltk.metrics.distance import edit_distance
杰卡德相似度
1-jaccard_distance(set(ngrams('Apple', 2)), set(ngrams('Appel', 2)))
我们得到：
0.33333333333333337
而对于Apple和Mango
1-jaccard_distance(set(ngrams('Apple', 2)), set(ngrams('Mango', 2)))
我们得到：
0.0
编辑距离
edit_distance('Apple', 'Appel')
我们得到：
2
最后，
edit_distance('Apple', 'Mango')
我们得到：
5
Q-Grams 上的余弦相似度 (q=2)
另一个解决方案是使用textdistance库。我将提供一个例子Cosine Similarity
import textdistance
1-textdistance.Cosine(qval=2).distance('Apple', 'Appel')
我们得到：
0.5
于 2020-09-10T22:48:10.463 回答
2
文字距离：
TextDistance – python 库，用于通过许多算法比较两个或多个序列之间的距离。它有文本距离
- 30 多种算法
- 纯python实现
- 简单使用
- 多于两个序列比较
- 一些算法在一个类中有多个实现。
- 可选的 numpy 用法以获得最大速度。
示例 1：
import textdistance
textdistance.hamming('test', 'text')
输出：
1
示例 2：
import textdistance
textdistance.hamming.normalized_similarity('test', 'text')
输出：
0.75
谢谢和干杯！！！
于 2020-10-19T19:38:27.003 回答
0
这是我的想法：
import string
def match(a,b):
a,b = a.lower(), b.lower()
error = 0
for i in string.ascii_lowercase:
error += abs(a.count(i) - b.count(i))
total = len(a) + len(b)
return (total-error)/total
if __name__ == "__main__":
print(match("pple inc", "Apple Inc."))
于 2020-12-01T21:22:34.470 回答
0
Python3.6+=
未导入库
在大多数情况下都能正常工作
在堆栈溢出中，当您尝试添加标签或发布问题时，它会显示所有相关内容。这非常方便，正是我正在寻找的算法。因此，我编写了一个查询集相似性过滤器。
def compare(qs, ip):
al = 2
v = 0
for ii, letter in enumerate(ip):
if letter == qs[ii]:
v += al
else:
ac = 0
for jj in range(al):
if ii - jj < 0 or ii + jj > len(qs) - 1:
break
elif letter == qs[ii - jj] or letter == qs[ii + jj]:
ac += jj
break
v += ac
return v
def getSimilarQuerySet(queryset, inp, length):
return [k for tt, (k, v) in enumerate(reversed(sorted({it: compare(it, inp) for it in queryset}.items(), key=lambda item: item[1])))][:length]
if __name__ == "__main__":
print(compare('apple', 'mongo'))
# 0
print(compare('apple', 'apple'))
# 10
print(compare('apple', 'appel'))
# 7
print(compare('dude', 'ud'))
# 1
print(compare('dude', 'du'))
# 4
print(compare('dude', 'dud'))
# 6
print(compare('apple', 'mongo'))
# 2
print(compare('apple', 'appel'))
# 8
print(getSimilarQuerySet(
[
"java",
"jquery",
"javascript",
"jude",
"aja",
],
"ja",
2,
))
# ['javascript', 'java']
解释
compare接受两个字符串并返回一个正整数。- 您可以在 中编辑
al允许的变量compare，它表示我们需要搜索的范围有多大。它的工作原理是这样的：迭代两个字符串，如果在相同的索引处找到相同的字符，则将累加器添加到最大值。然后，我们在 的索引范围内搜索allowed，如果匹配，则根据字母的距离添加到累加器中。（越远越小） length指示您想要多少个项目作为结果，这与输入字符串最相似。
于 2021-10-29T14:06:25.810 回答