这是使用该scipy.spatial.distance.pdist
函数计算成对距离的解决方案(请参阅最后的完整代码)。
一步步
自定义jaccard函数
虽然scipy.spatial.distance
有一个jaccard
方法,但这是为布尔数组制作的。我们需要定义一个自定义函数(使用这个jaccard 距离的定义: 1-intersection/union
):
def jaccard(u, v):
u,v = set(u[0]), set(v[0]) # pdist will pass 2D data [[a,b,c]], so we need to slice
return 1-len(u.intersection(v))/len(u.union(v))
然后我们将它应用于我们的数据框列。
警告:pdist
需要一个多维数组作为输入(Series 不起作用),因此我们需要将列切片为 DataFrame ( df[['ids']]
)。此外,直接传递函数metric
会导致错误,因为函数没有向量化(请参阅下面关于该点的注释),因此我们需要将其包装在 lambda 中。
pdist(df[['ids']], metric=lambda u,v: jaccard(u,v))
如上所述,也可以改为传递矢量化函数。为此,我们可以使用numpy.vectorize
. 请注意,该功能与以前略有不同。在这里,我们不对传递值的第一个元素进行切片,因为它已经是一维的。
def jaccard(u, v):
u,v = set(u), set(v)
return 1-len(u.intersection(v))/len(u.union(v))
pdist(df[['ids']], metric=np.vectorize(jaccard))
注意。对提供的数据集进行的快速测试表明,矢量化方法实际上比 lambda 慢。
输出为 2D
scipy.spatial.distance.squareform
最后,我们使用和pandas.DataFrame
构造函数将输出转换回矩阵:
pd.DataFrame(squareform(pdist(df[['ids']], metric=lambda u,v: jaccard(u,v))))
示例(完整代码)
让我们从这个输入开始:
df = pd.DataFrame([[['58545-19', '462423-43', '277581-25']],
[['0']],
[['454950-82', '433701-46', '228790-63', '266250-52', '458759-98', '152986-78', '222217-39', '433515-16', '265589-83', '439403-23', '277892-38', '223497-19', '224072-83', '461887-57', '436147-12', '227479-78', '228893-32', '279415-18', '439426-27', '437742-46', '438156-73', '438458-68', '277898-05', '438675-76', '454658-95', '431222-77', '462579-94', '434939-86', '222211-09', '178215-13', '459566-11', '463200-04', '439278-94', '459505-18', '399139-66', '455735-62', '327382-03', '439040-62', '233779-51', '431387-38', '438589-72', '437892-49', '458178-76']],
[['431380-63']],
[['442539-01', '434388-16', '454950-82', '463197-61', '228893-32', '464322-07', '462579-94', '438781-51', '437273-11', '265395-79', '463560-76', '462525-31', '439426-27', '438458-68', '464300-38', '442676-80']],
[['234729-10', '435926-98', '416670-04', '179514-28']],
[['0']],
[['0']],
[['267726-25', '235217-71', '227314-72', '185293-18', '434447-56', '170271-19', '454661-20']],
[['0']],
], columns=['ids'])
from scipy.spatial.distance import pdist, squareform
def jaccard(u, v):
u,v = set(u[0]), set(v[0])
return 1-len(u.intersection(v))/len(u.union(v))
pd.DataFrame(squareform(pdist(df[['ids']], metric=lambda u,v: jaccard(u,v))))
输出:
0 1 2 3 4 5 6 7 8 9
0 0.0 1.0 1.000000 1.0 1.000000 1.0 1.0 1.0 1.0 1.0
1 1.0 0.0 1.000000 1.0 1.000000 1.0 0.0 0.0 1.0 0.0
2 1.0 1.0 0.000000 1.0 0.907407 1.0 1.0 1.0 1.0 1.0
3 1.0 1.0 1.000000 0.0 1.000000 1.0 1.0 1.0 1.0 1.0
4 1.0 1.0 0.907407 1.0 0.000000 1.0 1.0 1.0 1.0 1.0
5 1.0 1.0 1.000000 1.0 1.000000 0.0 1.0 1.0 1.0 1.0
6 1.0 0.0 1.000000 1.0 1.000000 1.0 0.0 0.0 1.0 0.0
7 1.0 0.0 1.000000 1.0 1.000000 1.0 0.0 0.0 1.0 0.0
8 1.0 1.0 1.000000 1.0 1.000000 1.0 1.0 1.0 0.0 1.0
9 1.0 0.0 1.000000 1.0 1.000000 1.0 0.0 0.0 1.0 0.0
这是所提供数据集距离的图形表示(白色 = 更远):