141

我需要编写一个函数来检测输入是否包含至少一个非数字值。如果找到非数字值，我将引发错误（因为计算应该只返回一个数字值）。输入数组的维数事先是未知的——不管 ndim 函数应该给出正确的值。作为一个额外的复杂因素，输入可能是单个浮点数，numpy.float64甚至是零维数组之类的奇怪东西。

解决这个问题的明显方法是编写一个递归函数，它遍历数组中的每个可迭代对象，直到找到一个非迭代对象。它将将该numpy.isnan()函数应用于每个不可迭代的对象。如果找到至少一个非数字值，则该函数将立即返回 False。否则，如果 iterable 中的所有值都是数字，它最终将返回 True。

这工作得很好，但速度很慢，我希望NumPy有更好的方法来做到这一点。什么是更快，更麻木的替代方案？

这是我的模型：

def contains_nan( myarray ):
    """
    @param myarray : An n-dimensional array or a single float
    @type myarray : numpy.ndarray, numpy.array, float
    @returns: bool
    Returns true if myarray is numeric or only contains numeric values.
    Returns false if at least one non-numeric value exists
    Not-A-Number is given by the numpy.isnan() function.
    """
    return True
4

5 回答 5

245

这应该比迭代更快，并且无论形状如何都可以工作。

numpy.isnan(myarray).any()

编辑：快 30 倍：

import timeit
s = 'import numpy;a = numpy.arange(10000.).reshape((100,100));a[10,10]=numpy.nan'
ms = [
    'numpy.isnan(a).any()',
    'any(numpy.isnan(x) for x in a.flatten())']
for m in ms:
    print "  %.2f s" % timeit.Timer(m, s).timeit(1000), m

结果：

  0.11 s numpy.isnan(a).any()
  3.75 s any(numpy.isnan(x) for x in a.flatten())

奖励：它适用于非数组 NumPy 类型：

>>> a = numpy.float64(42.)
>>> numpy.isnan(a).any()
False
>>> a = numpy.float64(numpy.nan)
>>> numpy.isnan(a).any()
True
于 2009-05-27T00:55:50.407 回答
25

如果无穷大是一个可能的值，我会使用numpy.isfinite

numpy.isfinite(myarray).all()

如果上述计算结果为，True则不myarray包含或。numpy.nannumpy.inf-numpy.inf

numpy.isnan可以使用numpy.inf值，例如：

In [11]: import numpy as np

In [12]: b = np.array([[4, np.inf],[np.nan, -np.inf]])

In [13]: np.isnan(b)
Out[13]: 
array([[False, False],
       [ True, False]], dtype=bool)

In [14]: np.isfinite(b)
Out[14]: 
array([[ True, False],
       [False, False]], dtype=bool)
于 2015-10-09T17:13:34.257 回答
11

噗！微秒！永远不要在微秒内解决可以在纳秒内解决的问题。

请注意，接受的答案：

  • 遍历整个数据，无论是否找到 nan
  • 创建一个大小为 N 的临时数组，这是多余的。

更好的解决方案是在找到 NAN 时立即返回 True：

import numba
import numpy as np

NAN = float("nan")

@numba.njit(nogil=True)
def _any_nans(a):
    for x in a:
        if np.isnan(x): return True
    return False

@numba.jit
def any_nans(a):
    if not a.dtype.kind=='f': return False
    return _any_nans(a.flat)

array1M = np.random.rand(1000000)
assert any_nans(array1M)==False
%timeit any_nans(array1M)  # 573us

array1M[0] = NAN
assert any_nans(array1M)==True
%timeit any_nans(array1M)  # 774ns  (!nanoseconds)

并适用于 n 维：

array1M_nd = array1M.reshape((len(array1M)/2, 2))
assert any_nans(array1M_nd)==True
%timeit any_nans(array1M_nd)  # 774ns

将此与 numpy 本机解决方案进行比较：

def any_nans(a):
    if not a.dtype.kind=='f': return False
    return np.isnan(a).any()

array1M = np.random.rand(1000000)
assert any_nans(array1M)==False
%timeit any_nans(array1M)  # 456us

array1M[0] = NAN
assert any_nans(array1M)==True
%timeit any_nans(array1M)  # 470us

%timeit np.isnan(array1M).any()  # 532us

提前退出方法是 3 个数量级或数量级的加速（在某些情况下）。对于一个简单的注释来说还不算太简陋。

于 2019-07-17T20:36:39.983 回答
3

使用 numpy 1.3 或 svn 你可以做到这一点

In [1]: a = arange(10000.).reshape(100,100)

In [3]: isnan(a.max())
Out[3]: False

In [4]: a[50,50] = nan

In [5]: isnan(a.max())
Out[5]: True

In [6]: timeit isnan(a.max())
10000 loops, best of 3: 66.3 µs per loop

比较中对 nans 的处理在早期版本中并不一致。

于 2009-08-25T00:04:43.780 回答
2

(np.where(np.isnan(A)))[0].shape[0]将大于0如果A包含 的至少一个元素nan，则A可能是n x m矩阵。

例子：

import numpy as np

A = np.array([1,2,4,np.nan])

if (np.where(np.isnan(A)))[0].shape[0]: 
    print "A contains nan"
else:
    print "A does not contain nan"
于 2017-05-11T20:52:37.697 回答