假设我有一个矩阵 nxm 容纳行向量。我想要一个距离矩阵 nxn 来表示每个向量之间的距离。当我使用 Numpy 时,如何在 Python 中做到这一点。我知道 Scipy 会这样做,但我想弄脏我的手。我已经写了一个余弦相似度函数cos_dist(a,b)
,其中 a 和 b 是两个不同的向量。现在我需要一个调用函数,它可以有效地为每一对项目执行此操作。我该怎么做?
问问题
5655 次
2 回答
3
下面的代码显示了两个选项来做你所追求的。一个循环遍历数组两次并使用 Python 函数来计算 cos_dist。第二个使用矢量化方法和广播以更快地获得相同的结果 x1000。
from __future__ import division
import numpy as np
def cos_dist(a, b):
mod_a = np.sqrt(a.dot(a))
mod_b = np.sqrt(b.dot(b))
return a.dot(b) / mod_a / mod_b
a = np.random.rand(100, 4)
# Slow option
def slow_dist(a):
items = a.shape[0]
out_slow = np.ones((items,items))
for j in xrange(items):
for k in xrange(j+1, items):
out_slow[j, k] = cos_dist(a[j], a[k])
out_slow[k, j] = out_slow[j, k]
return out_slow
# Faster option
from numpy.core.umath_tests import inner1d
def fast_dist(a):
mod_a = np.sqrt(inner1d(a ,a))
norm_a = a / mod_a[:, None]
out_fast = inner1d(norm_a[:, None, :],
norm_a[None, :, :])
return out_fast
以下是时间安排:
In [2]: %timeit slow_dist(a)
10 loops, best of 3: 67.6 ms per loop
In [3]: %timeit fast_dist(a)
10000 loops, best of 3: 60.5 us per loop
In [4]: np.allclose(slow_dist(a), fast_dist(a))
Out[4]: True
于 2013-05-10T16:00:44.490 回答
2
你为什么不检查 scipy's spatial.distance.pdist()
,它计算 n 维空间中观测值之间的成对距离,并有大量的距离函数可供选择?
由于您没有安装 scipy 并且想使用 numpy 对其进行编码,因此我建议您研究其源代码,该源代码链接在其文档页面的左上角。
于 2013-05-09T21:09:37.857 回答