9

我一直在阅读掩码数组文档，但我很困惑 - MaskedArray 与仅维护一个值数组和一个布尔掩码有什么不同？有人可以给我一个示例，其中 MaskedArrays 更方便或性能更高吗？

更新 6/5

为了更具体地说明我的问题，这是一个如何使用 MaskedArray 的经典示例：

>>>data = np.arange(12).reshape(3, 4)
>>>mask = np.array([[0., 0., 1., 0.],
                    [0., 0., 0., 1.],
                    [0., 1., 0., 0.]])

>>>masked = np.ma.array(data, mask=mask)
>>>masked

masked_array(
  data=[[0, 1, --, 3],
        [4, 5, 6, --],
        [8, --, 10, 11]],
  mask=[[False, False,  True, False],
        [False, False, False,  True],
        [False,  True, False, False]],
  fill_value=999999)

>>>masked.sum(axis=0)

masked_array(data=[12, 6, 16, 14], mask=[False, False, False, False], fill_value=999999)

我也可以这样轻松地做同样的事情：

>>>data = np.arange(12).reshape(3, 4).astype(float)
>>>mask = np.array([[0., 0., 1., 0.],
                    [0., 0., 0., 1.],
                    [0., 1., 0., 0.]]).astype(bool)

>>>masked = data.copy()  # this keeps the original data reuseable, as would
                         # the MaskedArray. If we only need to perform one 
                         # operation then we could avoid the copy
>>>masked[mask] = np.nan
>>>np.nansum(masked, axis=0)

array([12.,  6., 16., 14.])

我想 MaskedArray 版本看起来更好一些，如果你需要一个可重用的数组，可以避免复制。从标准 ndarray 转换为 MaskedArray 时，它不会使用同样多的内存吗？并且在将掩码应用于数据时是否避免了引擎盖下的副本？还有其他优点吗？

4

1 回答 1

9

这里报告了官方答案：

理论上，IEEE nan 是专门为解决缺失值问题而设计的，但现实情况是不同平台的行为不同，让生活变得更加困难。在某些平台上，nan 的存在会使计算速度减慢 10-100 倍。对于整数数据，不存在 nan 值。

事实上，与类似的 nans 数组相比，掩码数组可能非常慢：

import numpy as np
g = np.random.random((5000,5000))
indx = np.random.randint(0,4999,(500,2))
g_nan = g.copy()
g_nan[indx] = np.nan
mask =  np.full((5000,5000),False,dtype=bool)
mask[indx] = True
g_mask = np.ma.array(g,mask=mask)

%timeit (g_mask + g_mask)**2
1.27 s ± 35.5 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
(g_nan + g_nan)**2
%timeit (g_nan + g_nan)**2
76.5 ms ± 715 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

它们什么时候有用？

在多年的编程中，我发现它们在以下场合很有用：

  • 当您想保留您屏蔽的值以供以后处理时，而不复制数组。
  • 您不想被 nan 操作的奇怪行为所欺骗（顺便说一下，您可能会被屏蔽数组的行为所欺骗）。
  • 如果掩码是数组的一部分，则必须使用掩码处理许多数组时，可以避免代码和混淆。
  • 与 nan 值相比，您可以为掩码值分配不同的含义。例如，我使用np.nan缺失值，但我也掩盖了 SNR 较差的值，因此我可以识别两者。

通常，您可以将掩码数组视为更紧凑的表示。最好的方法是逐案测试更易于理解和有效的解决方案。

于 2019-11-02T21:12:40.463 回答