5

我是 numpy 新手,在尝试过滤样本子集时遇到了麻烦。

我有一个形状为的矩阵(1000, 12)。也就是说,一千个样本,每个样本有 12 个数据列。我愿意创建两个矩阵,一个包含样本中的所有异常值,另一个包含所有不是异常值的元素;生成的矩阵应具有以下形状:

norm.shape     = (883, 12)
outliers.shape = (117, 12)

为了识别异常值,我使用了这个条件:

cond_out  = (dados[0:,RD_EVAL] > _max_rd) | (dados[0:,DUT_EVAL] > _max_dut)

也就是说,对于矩阵中的每一行,我都在寻找两列的值。如果其中一个高于某个阈值,则该线被视为异常值。关键是,这个条件有一个 shape (1000,),所以当我压缩原始矩阵时,我得到了一个(117,)结果。我怎样才能过滤矩阵,所以结果是(117,12),也就是说,一个包含所有异常值行的矩阵,但每个行都包含所有数据列?

4

2 回答 2

14
import numpy as np

d=np.random.randn(4,4)

array([[ 1.16968447, -0.07650322, -0.30519481, -2.09278839],
       [ 0.53350868, -0.8004209 ,  0.38477468,  1.31876924],
       [ 0.06461366,  0.82204993,  0.42034665,  0.30473843],
       [ 1.13469745, -1.47969242,  2.36338208, -0.33700972]])

让我们过滤第二列中所有小于零的行:

d[:,1]<0
array([ True,  True, False,  True], dtype=bool)

你看,你得到一个逻辑数组,你可以用它来选择所需的行:

d[d[:,1]<0,:]

array([[ 1.16968447, -0.07650322, -0.30519481, -2.09278839],
       [ 0.53350868, -0.8004209 ,  0.38477468,  1.31876924],
       [ 1.13469745, -1.47969242,  2.36338208, -0.33700972]])
于 2012-08-14T13:30:15.213 回答
3

也许这样的事情会起作用?

>>> import numpy
>>> m = numpy.random.random(size=(1000,12))
>>> RD_EVAL = 7
>>> _max_rd = 0.9
>>> DUT_EVAL = 11
>>> _max_dut = 0.95
>>> cond_out = (m[:,RD_EVAL] > _max_rd) | (m[:,DUT_EVAL] > _max_dut)
>>> cond_out.shape
(1000,)
>>> 
>>> norm = m[~cond_out, :]
>>> outliers = m[cond_out,:]
>>> 
>>> norm.shape
(846, 12)
>>> outliers.shape
(154, 12)

请参阅有关高级索引的文档。

于 2012-08-14T13:29:36.460 回答