8

我正在使用 scikit-learn 方法MDS对某些数据执行降维。我想检查压力值以了解减少的质量。我期待介于 0 - 1 之间的值。但是，我得到的值超出了这个范围。这是一个最小的例子：

%matplotlib inline

from sklearn.preprocessing import normalize
from sklearn import manifold
from matplotlib import pyplot as plt
from matplotlib.lines import Line2D

import numpy


def similarity_measure(vec1, vec2):
    vec1_x = numpy.arctan2(vec1[1], vec1[0])
    vec2_x = numpy.arctan2(vec2[1], vec2[0])
    vec1_y = numpy.sqrt(numpy.sum(vec1[0] * vec1[0] + vec1[1] * vec1[1]))
    vec2_y = numpy.sqrt(numpy.sum(vec2[0] * vec2[0] + vec2[1] * vec2[1]))

    dot  = numpy.sum(vec1_x * vec2_x + vec1_y * vec2_y)
    mag1 = numpy.sqrt(numpy.sum(vec1_x * vec1_x + vec1_y * vec1_y))
    mag2 = numpy.sqrt(numpy.sum(vec2_x * vec2_x + vec2_y * vec2_y))
    return dot / (mag1 * mag2)

plt.figure(figsize=(15, 15))

delta = numpy.zeros((100, 100))
data_x = numpy.random.randint(0, 100, (100, 100))
data_y = numpy.random.randint(0, 100, (100, 100))

for j in range(100):
    for k in range(100):
        if j <= k:
            dist = similarity_measure((data_x[j].flatten(), data_y[j].flatten()), (data_x[k].flatten(), data_y[k].flatten()))
            delta[j, k] = delta[k, j] = dist

delta = 1-((delta+1)/2)  
delta /= numpy.max(delta)

mds = manifold.MDS(n_components=2, max_iter=3000, eps=1e-9, random_state=0,
               dissimilarity="precomputed", n_jobs=1)
coords = mds.fit(delta).embedding_
print mds.stress_

plt.scatter(coords[:, 0], coords[:, 1], marker='x', s=50, edgecolor='None')
plt.tight_layout()

在我的测试中，它打印了以下内容：

263.412196461

并产生了这个图像：

在此处输入图像描述

在不知道最大值的情况下如何分析这个值？或者如何对其进行标准化，使其介于 0 和 1 之间？

谢谢你。

4

2 回答 2

5

这是因为当前 scikit-learn 的实现计算并返回原始应力值 (σ r )，而您期望的是 Stress-1 (σ 1 )。

前者信息量不大（它的高值不一定表示不合适），传达可靠性的更好方法是计算规范压力，例如。根据 Kruskal (1964, p. 3)，Stress-1 或多或少有以下解释：值 0 表示完美契合，0.025 极好，0.05 好，0.1 中，0.2 差。

我刚刚实现了 Stress-1 的计算并发送了 PR。同时，可以使用此分支中的版本，当normalize参数设置为True（默认为False ）时，使用并返回 Stress-1 而不是原始压力。

有关更多信息，请参阅。Kruskal (1964, p. 8-9) 或 Borg and Groenen (2005, p. 41-43)。

于 2017-11-26T21:20:15.870 回答
1

在寻找 Kruskal 压力的同时，我发现了 Ricco Rakotomalala 的这门法语课程。它包含一个似乎可以计算正确 Kruskal Stress 的代码示例：

import pandas
import numpy
from sklearn import manifold
from sklearn.metrics import euclidean_distances

## Input data format (file.csv) : dissimilarity matrix
#   ;  A  ;  B  ;  C  ;  D  ; E
# A ; 0   ; 0.9 ; 0.8 ; 0.5 ; 0.8
# B ; 0.9 ; 0   ; 0.7 ; 0   ; 1
# C ; 0.8 ; 0.7 ; 0   ; 0.2 ; 0.4
# D ; 0.5 ; 0   ; 0.2 ; 0   ; 0.8
# E ; 0.8 ; 1   ; 0.4 ; 0.8 ; 0


## Load data
data = pandas.read_table("file.csv", ";", header=0, index_col=0)

## MDS
mds = manifold.MDS(n_components=2, random_state=1, dissimilarity="precomputed")
mds.fit(data)
# Coordinates of points in the plan (n_components=2)
points = mds.embedding_

## sklearn Stress
print("sklearn stress :")
print(mds.stress_)
print("")

## Manual calculus of sklearn stress
DE = euclidean_distances(points)
stress = 0.5 * numpy.sum((DE - data.values)**2)
print("Manual calculus of sklearn stress :")
print(stress)
print("")

## Kruskal's stress (or stress formula 1)
stress1 = numpy.sqrt(stress / (0.5 * numpy.sum(data.values**2)))
print("Kruskal's Stress :")
print("[Poor > 0.2 > Fair > 0.1 > Good > 0.05 > Excellent > 0.025 > Perfect > 0.0]")
print(stress1)
print("")
于 2020-10-08T22:29:31.093 回答