我想计算两个不同长度的列表之间的相似性。
例如：
listA = ['apple', 'orange', 'apple', 'apple', 'banana', 'orange'] # (length = 6)
listB = ['apple', 'orange', 'grapefruit', 'apple'] # (length = 4)
如您所见，单个项目可以在列表中出现多次，并且长度大小不同。
我已经考虑过比较每个项目的频率，但这不包括每个列表的大小（一个列表只是另一个列表的两倍应该是相似的，但不是完全相似）
例2：
listA = ['apple', 'apple', 'orange', 'orange']
listB = ['apple', 'orange']
similarity(listA, listB) # should NOT equal 1
所以我基本上想包含列表的大小，以及列表中项目的分布。
有任何想法吗？
collections.Counter()也许使用；在数据类型用语中，这些是多集或包：
from collections import Counter
counterA = Counter(listA)
counterB = Counter(listB)
现在您可以按条目或频率来比较这些：
>>> counterA
Counter({'apple': 3, 'orange': 2, 'banana': 1})
>>> counterB
Counter({'apple': 2, 'orange': 1, 'grapefruit': 1})
>>> counterA - counterB
Counter({'orange': 1, 'apple': 1, 'banana': 1})
>>> counterB - counterA
Counter({'grapefruit': 1})
您可以使用以下方法计算它们的余弦相似度：
import math
def counter_cosine_similarity(c1, c2):
terms = set(c1).union(c2)
dotprod = sum(c1.get(k, 0) * c2.get(k, 0) for k in terms)
magA = math.sqrt(sum(c1.get(k, 0)**2 for k in terms))
magB = math.sqrt(sum(c2.get(k, 0)**2 for k in terms))
return dotprod / (magA * magB)
这使：
>>> counter_cosine_similarity(counterA, counterB)
0.8728715609439696
该值越接近 1，两个列表越相似。
余弦相似度是您可以计算的一个分数。如果你关心列表的长度，你可以计算另一个；如果您将该分数保持在 0.0 和 1.0 之间，您可以将这两个值相乘以获得 -1.0 和 1.0 之间的最终分数。
例如，要考虑相对长度，您可以使用：
def length_similarity(c1, c2):
lenc1 = sum(c1.itervalues())
lenc2 = sum(c2.itervalues())
return min(lenc1, lenc2) / float(max(lenc1, lenc2))
然后组合成一个将列表作为输入的函数：
def similarity_score(l1, l2):
c1, c2 = Counter(l1), Counter(l2)
return length_similarity(c1, c2) * counter_cosine_similarity(c1, c2)
对于您的两个示例列表，这将导致：
>>> similarity_score(['apple', 'orange', 'apple', 'apple', 'banana', 'orange'], ['apple', 'orange', 'grapefruit', 'apple'])
0.5819143739626463
>>> similarity_score(['apple', 'apple', 'orange', 'orange'], ['apple', 'orange'])
0.4999999999999999
您可以根据需要混合其他指标。
从理论的角度来看：我建议您查找余弦相似度 http://en.wikipedia.org/wiki/Cosine_similarity
您可能需要修改以适应您的方案，但余弦相似性的想法很棒。
我相信你正在寻找的是计算数组中的倒数问题有你的答案：Counting inversions in an array