1

如何找到两个向量之间的余弦相似度并且向量的每个元素具有不同的范围？例如，每个向量有两个元素，V = {v[0], v[1]}例如{age, height}，其中年龄范围为30-70，身高范围为100cm-200cm，v1 = {20, 175}, v2 = {35,192}给出两个示例向量。

我知道余弦相似度 ( sim) 定义为sim = (v1 dot v2 ) / (|v1| * |v2|)，其中 dot 是 v1 和 v2 之间的点积，|v| 是向量的大小。但这是基于向量 V 中的每个元素具有相同的数据范围的假设，并且当每个元素具有不同的范围时不适用，例如我在这里使用的情况。

我能想到的一件事是W = {w[0],w[1]}对每个向量 v1 和 v2 应用一个权重向量来规范化向量中的每个元素。

那是 

weighted_sim = ( sum (w[i] * v1[i] * v2[i]) )  / sqrt ( (sum (w[i] *v1[i]^2 ) ) * ( sum (w[i] *v2[i]^2 ) ) )

但是我很难在这里计算出权重向量 W 。

有人可以在这里帮助我吗？非常感谢。

4

2 回答 2

1

我只是将两个测量值归一化，使其位于 [0,1] 范围内。所以归一化年龄(real_age-30)/(70-30)和归一化身高(real_height-100)/(200-100)。我注意到您的示例向量V1的年龄为 20 岁，超出了您指定的范围。

这些计算不会为您提供可以通过简单乘法应用于原始数据的权重。我会首先计算归一化向量，然后计算它们之间的向量相似度。

于 2012-07-10T10:40:38.503 回答
1

您可能需要标准化，但这需要比两个输入向量更多的数据。当您想赋予其中一项功能（我认为这是两个功能）比另一项更重要/更不重要时，就会应用加权。

例如，我人为地考虑了应用标准化的整个范围（以整数步长），并将您的单个示例与标准化和无程序（即，对数据不做任何事情）进行了比较。这是结果：

(standardization) Similarity: 0.744599          Data: (-1.12599, 0.88339), (-0.259844, 1.47232).
(  normalization) Similarity: 0.978736          Data: (0.166667, 0.75), (0.416667, 0.92).
(           none) Similarity: 0.997788          Data: (20, 175), (35, 192).

至少对我来说，使用标准化的结果更有意义。

以下是生成上述内容的示例基本代码：

import numpy

def cosine_dist(a, b): # Similarity between a and b
    return sum(a * b) / ((sum(a ** 2) * sum(b ** 2)) ** 0.5)


age_range = [10., 70.]
height_range = [100., 200.]

# Input.
age = numpy.array([20, 35])
height = numpy.array([175, 192])

# Normalization
age_n = numpy.array(age, dtype=float)
height_n = numpy.array(height, dtype=float)
age_n = (age_n - age_range[0]) / (age_range[1] - age_range[0])
height_n = (height_n - height_range[0]) / (height_range[1] - height_range[0])

# Standardization.
all_age = numpy.array(range(*map(int, age_range)))
all_height = numpy.array(range(*map(int, height_range)))
age_s = numpy.array(age, dtype=float)
height_s = numpy.array(height, dtype=float)
age_s = (age_s - all_age.mean()) / all_age.std()
height_s = (height_s - all_height.mean()) / all_height.std()

for name, a, h in [('standardization', age_s, height_s),
        ('normalization', age_n, height_n), ('none', age, height)]:

    data = numpy.array([(a[0], h[0]), (a[1], h[1])])
    data_s = '(%g, %g), (%g, %g)' % (data[0][0], data[0][1], data[1][0], data[1][1])
    print "(%15s) Similarity: %g\t\tData: %s." % (name, cosine_dist(*data),
            data_s)
于 2013-01-10T03:59:55.447 回答