17

我正在尝试在 Cython 中进行严重依赖于一些 numpy/scipy 数学函数的计算，例如numpy.log. 我注意到，如果我在 Cython 的循环中反复调用 numpy/scipy 函数，则会产生巨大的间接成本，例如：

import numpy as np
cimport numpy as np
np.import_array()
cimport cython

def myloop(int num_elts):
   cdef double value = 0
   for n in xrange(num_elts):
     # call numpy function
     value = np.log(2)

这是非常昂贵的，大概是因为np.log通过 Python 而不是直接调用 numpy C 函数。如果我将该行替换为：

from libc.math cimport log
...
# calling libc function 'log'
value = log(2)

那么它要快得多。但是，当我尝试将一个 numpy 数组传递给 libc.math.log 时：

cdef np.ndarray[long, ndim=1] foo = np.array([1, 2, 3])
log(foo)

它给出了这个错误：

TypeError: only length-1 arrays can be converted to Python scalars

我的问题是：

  1. 是否可以调用 C 函数并将其传递给 numpy 数组？或者它只能用于标量值，这需要我编写一个循环（例如，如果我想将它应用于foo上面的数组。）
  2. 有没有类似的方法可以直接从 C 调用 scipy 函数而无需 Python 开销？如何导入 scipy 的 C 函数库？

具体示例：假设您想在Cythonscipy.stats.*中的循环内对标量值调用许多 scipy 或 numpy 有用的统计函数（例如）for？在 Cython 中重新实现所有这些函数很疯狂，因此必须调用它们的 C 版本。例如，所有与 pdf/cdf 相关的函数以及来自各种统计分布的采样（例如，参见http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.rv_continuous.pdf.html#scipy. stats.rv_continuous.pdf和http://www.johndcook.com/distributions_scipy.html）如果你在循环中使用 Python 开销调用这些函数，它会非常慢。

谢谢。

4

1 回答 1

3

您不能应用 C 函数，例如登录 numpy 数组，并且 numpy 没有可以从 cython 调用的 C 函数库。

Numpy 函数已经经过优化，可以在 numpy 数组上调用。除非您有一个非常独特的用例，否则您不会从将 numpy 函数重新实现为 C 函数中获得太多好处。（可能 numpy 中的某些功能没有很好地实现，在这种情况下，请考虑将您的导入作为补丁提交。）但是您确实提出了一个很好的观点。

# A
from libc.math cimport log
for i in range(N):
    r[i] = log(foo[i])

# B
r = np.log(foo)

# C
for i in range(n):
    r[i] = np.log(foo[i])

一般来说，A 和 B 应该有相似的运行时间，但应该避免 C 并且会慢得多。

更新

这是 scipy.stats.norm.pdf 的代码，您可以看到它是用 python 编写的，带有 numpy 和 scipy 调用。此代码没有 C 版本，您必须“通过 python”调用它。如果这是阻碍你前进的原因，你需要在 C/Cython 中重新植入它，但首先我会花一些时间非常仔细地分析代码，看看是否有任何较低的悬而未决的果实可以先去追求。

def pdf(self,x,*args,**kwds):
    loc,scale=map(kwds.get,['loc','scale'])
    args, loc, scale = self._fix_loc_scale(args, loc, scale)
    x,loc,scale = map(asarray,(x,loc,scale))
    args = tuple(map(asarray,args))
    x = asarray((x-loc)*1.0/scale)
    cond0 = self._argcheck(*args) & (scale > 0)
    cond1 = (scale > 0) & (x >= self.a) & (x <= self.b)
    cond = cond0 & cond1
    output = zeros(shape(cond),'d')
    putmask(output,(1-cond0)+np.isnan(x),self.badvalue)
    if any(cond):
        goodargs = argsreduce(cond, *((x,)+args+(scale,)))
        scale, goodargs = goodargs[-1], goodargs[:-1]
        place(output,cond,self._pdf(*goodargs) / scale)
    if output.ndim == 0:
        return output[()]
    return output
于 2013-04-16T05:22:27.187 回答