3

注意：

这是我的数据挖掘课上的家庭作业。

我将在此 SO 帖子中放置相关代码片段，但您可以在http://pastebin.com/CzNFbLJ2找到我的整个程序

我用于这个程序的数据集可以在http://archive.ics.uci.edu/ml/datasets/Iris找到

所以我得到：RuntimeWarning：sqrt return np.sqrt(m) 中遇到的无效值

我试图找到给定虹膜数据集的平均马氏距离（对于原始数据集和标准化数据集）。该错误仅发生在数据集的规范化版本上，这让我想知道我是否错误地理解了规范化的含义（无论是在代码中还是在数学上）。

我认为归一化意味着向量的每个分量都除以它的向量长度（导致向量加起来为 1）。我发现了这个 SO question How to normalize a 2-dimensional numpy array in python less verbose？并认为它符合我的规范化概念。但是现在我的代码报告说标准化数据集上的马氏距离是 NAN

def mahalanobis(data):
   import numpy as np;
   import scipy.spatial.distance;
   avg   = 0
   count = 0

   covar = np.cov(data, rowvar=0);
   invcovar = np.linalg.inv(covar)

   for i in range(len(data)):
      for j in range(i + 1, len(data)):
         if(j == len(data)):
            break
         avg += scipy.spatial.distance.mahalanobis(data[i], data[j], invcovar)
         count += 1
   return avg / count


def normalize(data):
   import numpy as np
   row_sums = data.sum(axis=1)
   norm_data = np.zeros((50, 4))
   for i, (row, row_sum) in enumerate(zip(data, row_sums)):
      norm_data[i,:] = row / row_sum
   return norm_data
4

3 回答 3

4

可能为时已晚，但请查看我们的教科书“数据挖掘简介”中的第 64-65 页。有一个名为“标准化或标准化”的部分，它解释了 Hearne 正在寻找的标准化数据的概念。

基本上，标准化数据集 x' = (x - mean(x)) / standardDeviation(x)

既然我看到您使用的是 python，以下是使用 SciPy 的方法：

normalizedData = (data - data.mean(axis=0)) / data.std(axis=0, ddof=1)

来源： http: //mail.scipy.org/pipermail/numpy-discussion/2011-April/056023.html

于 2013-04-19T10:47:02.630 回答
3

您可以在不使用pdist()for 循环的情况下进行距离计算：

from sklearn import datasets
iris = datasets.load_iris()
from scipy.spatial.distance import pdist, squareform
print squareform(pdist(iris.data, 'mahalanobis'))
于 2013-04-19T07:54:54.180 回答
2

在这种情况下，归一化可能确实意味着减去均值和缩放，因此数据具有单位协方差矩阵。

但是，要将数据集中的每个向量缩放到单位范数，请使用：norm_data=data/np.sqrt(np.sum(data*data,1))[:,None].

您需要除以每个向量的 L2 范数，这意味着将每个元素的值平方，然后取和的平方根。广播允许您避免显式编码循环（请参阅您引用的问题的答案：https ://stackoverflow.com/a/8904762/1149913 ）。

于 2013-04-19T14:04:16.623 回答