0

我无法使用vq.whitenfromscipy.cluster来规范化我的数据。我传入了一个 numpy 数组，其中缺少的特征值用每个特征的平均值填充。

它卡住的线是：

data = scipy.cluster.vq.whiten(self.imputed)

这是我用来替换缺失数据的代码。

imputed = np.array([self.masked[:,i].filled(self.masked[:,i].mean()) 
                   for i in range(np.shape(self.masked)[1])])
self.imputed = np.transpose(imputed)

我确信这部分也有更好的方法，除了它似乎破坏了我的代码这一事实。这似乎是一种丑陋的方式，这通常意味着 Python 有更好的方式。

我尝试减少发送到的数组的数量，whiten但无论我在 Traceback 中得到以下内容。

Traceback (most recent call last):
  File "C:\Users\jamie.bull\workspace\Metadata\src\draft_workflow.py", line 87, in <module>
    dataset.cluster()
  File "C:\Users\jamie.bull\workspace\Metadata\src\draft_workflow.py", line 59, in cluster
    data = scipy.cluster.vq.whiten(self.imputed)
  File "C:\Enthought\Python27\lib\site-packages\scipy\cluster\vq.py", line 131, in whiten
    std_dev = std(obs, axis=0)
  File "C:\Enthought\Python27\lib\site-packages\numpy\core\fromnumeric.py", line 2467, in std
    return std(axis, dtype, out, ddof)
AttributeError: sqrt

聚类适用于相同的数据集，没有任何丢失的数据，所以我不知道接下来要尝试什么。

编辑： 我尝试使用以下方法打印出imputed完整数据集和缺少数据的每个项目的类型：

for item in imputed:
    print type(item)

两者之间的区别在于，当没有调用平均替换和转置的版本时，numpy.ndarray每一行都有一个，而被平均替换的版本每列都有一个。

4

1 回答 1

3

我现在已经解决了这个问题，所以我会把答案放在这里以供未来迷失的灵魂使用。float问题是当原始数据存储为时，我的平均替换是用 s 替换缺失值numpy.float64。

dtype解决方案是运行列表推导并通过设置to 来遵循它np.float64。似乎whiten不喜欢接收混合数据类型。

另外，解决了列表推导后不得不转置的丑陋问题，我重新发现了np.column_stack(). 现在的工作功能是：

def mean_impute(self):
    imputed = np.column_stack(self.masked[:,i].filled(self.masked[:,i].mean()) 
               for i in range(np.shape(self.masked)[1]))
    self.imputed = np.array(imputed, dtype=np.float64)

编辑添加

很久以前，但我想我会在这里更新。我现在将使用 pandas 进行数据处理和使用pandas以及fill_na()这种情况。

OP中的违规行可以替换为：

imputed = self.masked.fillna(self.masked.mean())
于 2012-11-21T01:45:51.023 回答