7

我可以消除此计算中的所有 Python 循环吗？

result[i,j,k] = (x[i] * y[j] * z[k]).sum()

其中x[i], y[j],z[k]是长度向量N, x,具有长度为 , 的第一维y, st输出是形状并且每个元素是三重乘积的总和（元素方式）。zABC(A,B,C)

我可以将其从 3 个循环减少到 1 个循环（下面的代码），但我一直试图消除最后一个循环。

如有必要，我可以制作A=B=C（通过少量填充）。

# Example with 3 loops, 2 loops, 1 loop (testing omitted)

N = 100 # more like 100k in real problem
A =   2 # more like 20 in real problem
B =   3 # more like 20 in real problem
C =   4 # more like 20 in real problem

import numpy
x = numpy.random.rand(A, N)
y = numpy.random.rand(B, N)
z = numpy.random.rand(C, N)

# outputs of each variant
result_slow = numpy.empty((A,B,C))
result_vec_C = numpy.empty((A,B,C))
result_vec_CB = numpy.empty((A,B,C))

# 3 nested loops
for i in range(A):
    for j in range(B):
        for k in range(C):
            result_slow[i,j,k] = (x[i] * y[j] * z[k]).sum()

# vectorize loop over C (2 nested loops)
for i in range(A):
    for j in range(B):
        result_vec_C[i,j,:] = (x[i] * y[j] * z).sum(axis=1)

# vectorize one C and B (one loop)
for i in range(A):
    result_vec_CB[i,:,:] = numpy.dot(x[i] * y, z.transpose())

numpy.testing.assert_almost_equal(result_slow, result_vec_C)
numpy.testing.assert_almost_equal(result_slow, result_vec_CB)
4

2 回答 2

9

如果您使用的是 numpy > 1.6，则有很棒的np.einsum功能：

np.einsum('im,jm,km->ijk',x,y,z)

这相当于您的循环版本。我不确定一旦您在实际问题中达到阵列的大小，这将如何提高效率（当我移动到这些大小时，我的机器上实际上出现了段错误）。对于这类问题，我经常喜欢的另一种解决方案是使用 cython 重写方法。

于 2012-06-29T16:34:55.767 回答
8

在您的情况下使用einsum很有意义；但是您可以很容易地手动完成此操作。诀窍是使数组可以相互广播。这意味着重新塑造它们，使每个阵列沿着自己的轴独立变化。然后将它们相乘，让numpy处理广播；然后沿最后一个（最右边的）轴求和。

>>> x = numpy.arange(2 * 4).reshape(2, 4)
>>> y = numpy.arange(3 * 4).reshape(3, 4)
>>> z = numpy.arange(4 * 4).reshape(4, 4)
>>> (x.reshape(2, 1, 1, 4) * 
...  y.reshape(1, 3, 1, 4) *
...  z.reshape(1, 1, 4, 4)).sum(axis=3)
array([[[  36,   92,  148,  204],
        [  92,  244,  396,  548],
        [ 148,  396,  644,  892]],

       [[  92,  244,  396,  548],
        [ 244,  748, 1252, 1756],
        [ 396, 1252, 2108, 2964]]])

您可以通过使用切片表示法、newaxis值（等于None，因此下面也可以使用None）以及sum接受负轴值的事实（-1表示最后一个，-2表示下一个-last，以此类推）。这样，您不必知道数组的原始形状；只要它们的最后一个轴兼容，这将一起广播前三个：

>>> (x[:, numpy.newaxis, numpy.newaxis, :] *
...  y[numpy.newaxis, :, numpy.newaxis, :] *
...  z[numpy.newaxis, numpy.newaxis, :, :]).sum(axis=-1)
array([[[  36,   92,  148,  204],
        [  92,  244,  396,  548],
        [ 148,  396,  644,  892]],

       [[  92,  244,  396,  548],
        [ 244,  748, 1252, 1756],
        [ 396, 1252, 2108, 2964]]])
于 2012-06-29T18:52:27.787 回答