0

我正在使用凝聚聚类技术对车辆数据集进行聚类。我使用了两种方法来计算距离矩阵，一种是使用 scipy.spatial.distance.euclidean，另一种是使用 scipy.spatial-distance_matrix。

所以根据我的理解，我应该在这两种情况下得到相同的结果。我想我得到了，但是当我比较两种方法的某些元素的输出时，我得到的输出是错误的。为什么会这样？

重现步骤 ：

!wget -O cars_clus.csv https://s3-api.us-geo.objectstorage.softlayer.net/cf-courses-data/CognitiveClass/ML0101ENv3/labs/cars_clus.csv
filename = 'cars_clus.csv'

#Read csv
pdf = pd.read_csv(filename)

# Clean the data
pdf[[ 'sales', 'resale', 'type', 'price', 'engine_s',
       'horsepow', 'wheelbas', 'width', 'length', 'curb_wgt', 'fuel_cap',
       'mpg', 'lnsales']] = pdf[['sales', 'resale', 'type', 'price', 'engine_s',
       'horsepow', 'wheelbas', 'width', 'length', 'curb_wgt', 'fuel_cap',
       'mpg', 'lnsales']].apply(pd.to_numeric, errors='coerce')
pdf = pdf.dropna()
pdf = pdf.reset_index(drop=True)

# selecting the feature set
featureset = pdf[['engine_s',  'horsepow', 'wheelbas', 'width', 'length', 'curb_wgt', 'fuel_cap', 'mpg']]

# Normalised using minmax
from sklearn.preprocessing import MinMaxScaler
x = featureset.values #returns a numpy array
min_max_scaler = MinMaxScaler()
feature_mtx = min_max_scaler.fit_transform(x)

计算距离矩阵。

#M1 : Using scipy's euclidean

import scipy
leng = feature_mtx.shape[0]
D = scipy.zeros([leng,leng])
for i in range(leng):
    for j in range(leng):
        D[i,j] = scipy.spatial.distance.euclidean(feature_mtx[i], feature_mtx[j])
print(pd.DataFrame(D).head())

在此处输入图像描述

# M2 : using scipy.spatial's distance_matrix

from scipy.spatial import distance_matrix
dist_matrix = distance_matrix(feature_mtx,feature_mtx))
print(pd.DataFrame(dist_matrix).head())

在此处输入图像描述

正如您所看到的，即使在比较两个矩阵时两个结果都相同，但我无法对每个元素都正确

# Comparing

pd.DataFrame(dist_matrix == D).head()

在此处输入图像描述

4

1 回答 1

1

建立在 Graipher 的答案上，你可以试试这个：

comp = np.isclose(dist_matrix, D)
pd.DataFrame(comp).head()

现在来回答你的问题，为什么会这样。这是浮点数的内部表示引起的问题，它使用固定数量的二进制数字来表示十进制数。一些十进制数不能用二进制精确表示，导致小的舍入误差。人们常常对这样的结果感到非常惊讶：

>>> 1.2-1.0
0.199999999999999996

这不是错误。这是浮点数的内部表示引起的问题，它使用固定数量的二进制数字来表示十进制数。一些十进制数不能用二进制精确表示，导致小的舍入误差。

浮点数只有 32 位或 64 位精度，所以数字在某些时候被截断

于 2019-01-23T11:55:24.160 回答