28

我一直在寻找方法来轻松地对一些简单的分析代码进行多线程处理，因为我注意到 numpy 它只使用一个内核，尽管它应该是多线程的。

我知道 numpy 是为多个内核配置的，因为我可以看到使用 numpy.dot 的测试使用了我所有的内核，所以我只是将 mean 重新实现为一个点积，它运行得更快。是否有某种原因意味着无法自行运行这么快？我发现较大数组的行为类似，尽管该比率比我的示例中显示的 3 接近 2。

我一直在阅读一堆关于类似 numpy 速度问题的帖子，显然它的方式比我想象的要复杂。任何见解都会有所帮助，我宁愿只使用均值，因为它更具可读性且代码更少，但我可能会切换到基于点的均值。

In [27]: data = numpy.random.rand(10,10)

In [28]: a = numpy.ones(10)

In [29]: %timeit numpy.dot(data,a)/10.0
100000 loops, best of 3: 4.8 us per loop

In [30]: %timeit numpy.mean(data,axis=1)
100000 loops, best of 3: 14.8 us per loop

In [31]: numpy.dot(data,a)/10.0 - numpy.mean(data,axis=1)
Out[31]: 
array([  0.00000000e+00,   0.00000000e+00,   0.00000000e+00,
         0.00000000e+00,   1.11022302e-16,   0.00000000e+00,
         0.00000000e+00,   0.00000000e+00,   0.00000000e+00,
        -1.11022302e-16])
4

2 回答 2

26

我一直在寻找方法来轻松地对一些简单的分析代码进行多线程处理，因为我注意到 numpy 它只使用一个内核，尽管它应该是多线程的。

谁说它应该是多线程的？

numpy主要设计为在单核上尽可能快，并且在需要时尽可能可并行化。但是你仍然需要并行化它。

特别是，您可以同时对独立的子对象进行操作，并且在可能的情况下，缓慢的操作会释放 GIL——尽管“尽可能”可能还不够。此外，numpy对象被设计为尽可能容易地在进程之间共享或传递，以方便使用multiprocessing.

有一些专门的方法可以自动并行化，但大多数核心方法不是。特别dot是，尽可能在 BLAS 之上实现，并且 BLAS 在大多数平台上自动并行化，但mean以纯 C 代码实现。

有关详细信息，请参阅使用 numpy 和 scipy进行并行编程。

那么，你怎么知道哪些方法是并行化的，哪些不是呢？而且，在那些不是，你怎么知道哪些可以很好地手动线程化，哪些需要多处理？

对此没有好的答案。您可以做出有根据的猜测（X 似乎可能是在 ATLAS 之上实现的，而我的 ATLAS 副本是隐式线程的），或者您可以阅读源代码。

但通常，最好的办法是尝试并测试。如果代码使用 100% 的一个内核和 0% 的其他内核，请添加手动线程。如果它现在使用 100% 的一个内核和 10% 的其他内核并且几乎没有运行得更快，请将多线程更改为多处理。（幸运的是，Python 让这很容易，特别是如果你使用 Executor 类concurrent.futures或 Pool 类multiprocessing。但你仍然经常需要考虑一下，并测试共享与传递的相对成本，如果你有大数组.)

此外，正如 kwatford 指出的那样，仅仅因为某些方法似乎不是隐式并行的，并不意味着它在 numpy 的下一个版本、BLAS 的下一个版本或不同的平台上不会是并行的，或者即使在安装了稍微不同的东西的机器上。所以，准备重新测试。并执行类似的操作my_mean = numpy.mean，然后my_mean在任何地方使用，因此您只需将一行更改为my_mean = pool_threaded_mean.

于 2013-05-17T21:35:31.153 回答
10

基本上，因为 BLAS 库有一个优化的点积，他们可以很容易地调用dot它本质上是并行的。他们承认他们可以扩展 numpy 以并行化其他操作，但选择不走那条路。然而，他们给出了一些关于如何并行化你的 numpy 代码的技巧（基本上是在 N 个核心之间划分工作（例如，N=4），将你的数组分成 N 个子数组，并将每个子数组的作业发送到它自己的线程和然后结合你的结果）。

请参阅http://wiki.scipy.org/ParallelProgramming：

使用并行原语

numpy 的一大优点是可以非常简洁地表达数组操作。例如，要计算矩阵 A 和矩阵 B 的乘积，您只需执行以下操作：

>>> C = numpy.dot(A,B)

这不仅易于读写，而且由于 numpy 知道您想要进行矩阵点积，因此它可以使用作为“BLAS”（基本线性代数子程序）的一部分获得的优化实现。这通常是一个经过仔细调整的库，通过利用高速缓存和汇编器实现在您的硬件上尽可能快地运行。但是现在许多架构都有一个 BLAS，它也利用了多核机器。如果您的 numpy/scipy 是使用其中之一编译的，那么 dot() 将在您不执行任何操作的情况下并行计算（如果这更快）。类似的其他矩阵运算，如求逆、奇异值分解、行列式等。例如，开源库 ATLAS 允许在编译时选择并行度（线程数）。来自英特尔的专有 MKL 库提供了在运行时选择并行级别的可能性。还有允许运行时选择并行级别的 GOTO 库。这是一个商业产品，但源代码免费分发以供学术使用。

最后，scipy/numpy 不会并行化操作，例如

>>> A = B + C

>>> A = numpy.sin(B)

>>> A = scipy.stats.norm.isf(B)

这些操作按顺序运行，不利用多核机器（但见下文）。原则上，这可以在不做太多工作的情况下改变。OpenMP 是 C 语言的扩展，它允许编译器为适当注释的循环（和其他事物）生成并行化代码。如果有人坐下来在 numpy（也可能在 scipy）中注释了几个核心循环，然后如果有人在打开 OpenMP 的情况下编译 numpy/scipy，那么上述所有三个都将自动并行运行。当然，实际上人们会想要一些运行时控制——例如，如果一个人计划在同一台多处理器机器上运行多个作业，则可能想要关闭自动并行化。

于 2013-05-17T21:34:41.083 回答