54

我正在尝试安装numpy，OpenBLAS但是我不知道如何site.cfg编写文件。

当按照安装过程完成安装时，安装没有错误，但是将 OpenBLAS 使用的线程数从 1 增加（由环境变量 OMP_NUM_THREADS 控制）会降低性能。

我不确定 OpenBLAS 集成是否完美。任何人都可以提供一个site.cfg文件来实现相同的目标。

PS：OpenBLAS 与其他工具包（如基于 Python 的Theano ）的集成，在同一台机器上增加线程数量时提供了显着的性能提升。

4

3 回答 3

100

我刚刚numpy在virtualenvwithOpenBLAS集成中编译，它似乎工作正常。

这是我的过程：

  1. 编译OpenBLAS：

    $ git clone https://github.com/xianyi/OpenBLAS
$ cd OpenBLAS && make FC=gfortran
$ sudo make PREFIX=/opt/OpenBLAS install

    如果您没有管理员权限，则可以设置PREFIX=为您具有写入权限的目录（只需相应地修改下面的相应步骤）。

  2. 确保包含的目录libopenblas.so位于您的共享库搜索路径中。

    • 要在本地执行此操作，您可以编辑~/.bashrc文件以包含该行

      export LD_LIBRARY_PATH=/opt/OpenBLAS/lib:$LD_LIBRARY_PATH

      当LD_LIBRARY_PATH您启动新的终端会话时，环境变量将被更新（用于$ source ~/.bashrc在同一会话中强制更新）。

    • 另一个适用于多个用户的选项是创建一个包含 line的.conf文件，例如：/etc/ld.so.conf.d//opt/OpenBLAS/lib

      $ sudo sh -c "echo '/opt/OpenBLAS/lib' > /etc/ld.so.conf.d/openblas.conf"

    完成任一选项后，运行

    $ sudo ldconfig

  3. 获取numpy源代码：

    $ git clone https://github.com/numpy/numpy
$ cd numpy

  4. 复制site.cfg.example到site.cfg并编辑副本：

    $ cp site.cfg.example site.cfg
$ nano site.cfg

    取消注释这些行：

    ....
[openblas]
libraries = openblas
library_dirs = /opt/OpenBLAS/lib
include_dirs = /opt/OpenBLAS/include
....

  5. 检查配置、构建、安装（可选在 a 内virtualenv）

    $ python setup.py config

    输出应如下所示：

    ...
openblas_info:
  FOUND:
    libraries = ['openblas', 'openblas']
    library_dirs = ['/opt/OpenBLAS/lib']
    language = c
    define_macros = [('HAVE_CBLAS', None)]

  FOUND:
    libraries = ['openblas', 'openblas']
    library_dirs = ['/opt/OpenBLAS/lib']
    language = c
    define_macros = [('HAVE_CBLAS', None)]
...

    安装 with比 usingpip更可取python setup.py install，因为pip它将跟踪包元数据并允许您在将来轻松卸载或升级 numpy。

    $ pip install .

  6. 可选：您可以使用此脚本来测试不同线程数的性能。

    $ OMP_NUM_THREADS=1 python build/test_numpy.py

version: 1.10.0.dev0+8e026a2
maxint:  9223372036854775807

BLAS info:
 * libraries ['openblas', 'openblas']
 * library_dirs ['/opt/OpenBLAS/lib']
 * define_macros [('HAVE_CBLAS', None)]
 * language c

dot: 0.099796795845 sec

$ OMP_NUM_THREADS=8 python build/test_numpy.py

version: 1.10.0.dev0+8e026a2
maxint:  9223372036854775807

BLAS info:
 * libraries ['openblas', 'openblas']
 * library_dirs ['/opt/OpenBLAS/lib']
 * define_macros [('HAVE_CBLAS', None)]
 * language c

dot: 0.0439578056335 sec

对于更高的线程数，性能似乎有了显着的提高。但是，我没有对此进行非常系统的测试，而且对于较小的矩阵，额外的开销可能会超过更高线程数带来的性能优势。

于 2013-01-18T02:50:38.297 回答
9

万一您使用的是 ubuntu 或 mint，您可以通过 apt-get as 同时安装 numpy 和 openblas 来轻松地将 openblas 链接到 numpy

sudo apt-get install numpy libopenblas-dev

在一个新的 docker ubuntu 上，我测试了从博客文章“安装 Numpy 和 OpenBLAS”中复制的以下脚本

import numpy as np
import numpy.random as npr
import time

# --- Test 1
N = 1
n = 1000

A = npr.randn(n,n)
B = npr.randn(n,n)

t = time.time()
for i in range(N):
    C = np.dot(A, B)
td = time.time() - t
print("dotted two (%d,%d) matrices in %0.1f ms" % (n, n, 1e3*td/N))

# --- Test 2
N = 100
n = 4000

A = npr.randn(n)
B = npr.randn(n)

t = time.time()
for i in range(N):
    C = np.dot(A, B)
td = time.time() - t
print("dotted two (%d) vectors in %0.2f us" % (n, 1e6*td/N))

# --- Test 3
m,n = (2000,1000)

A = npr.randn(m,n)

t = time.time()
[U,s,V] = np.linalg.svd(A, full_matrices=False)
td = time.time() - t
print("SVD of (%d,%d) matrix in %0.3f s" % (m, n, td))

# --- Test 4
n = 1500
A = npr.randn(n,n)

t = time.time()
w, v = np.linalg.eig(A)
td = time.time() - t
print("Eigendecomp of (%d,%d) matrix in %0.3f s" % (n, n, td))

没有openblas，结果是：

dotted two (1000,1000) matrices in 563.8 ms
dotted two (4000) vectors in 5.16 us
SVD of (2000,1000) matrix in 6.084 s
Eigendecomp of (1500,1500) matrix in 14.605 s

在我安装了 openblas 之后apt install openblas-dev，我检查了 numpy 链接

import numpy as np
np.__config__.show()

信息是

atlas_threads_info:
  NOT AVAILABLE
openblas_info:
  NOT AVAILABLE
atlas_blas_info:
  NOT AVAILABLE
atlas_3_10_threads_info:
  NOT AVAILABLE
blas_info:
    library_dirs = ['/usr/lib']
    libraries = ['blas', 'blas']
    language = c
    define_macros = [('HAVE_CBLAS', None)]
mkl_info:
  NOT AVAILABLE
atlas_3_10_blas_threads_info:
  NOT AVAILABLE
atlas_3_10_blas_info:
  NOT AVAILABLE
openblas_lapack_info:
  NOT AVAILABLE
lapack_opt_info:
    library_dirs = ['/usr/lib']
    libraries = ['lapack', 'lapack', 'blas', 'blas']
    language = c
    define_macros = [('NO_ATLAS_INFO', 1), ('HAVE_CBLAS', None)]
blas_opt_info:
    library_dirs = ['/usr/lib']
    libraries = ['blas', 'blas']
    language = c
    define_macros = [('NO_ATLAS_INFO', 1), ('HAVE_CBLAS', None)]
atlas_info:
  NOT AVAILABLE
blas_mkl_info:
  NOT AVAILABLE
lapack_mkl_info:
  NOT AVAILABLE
atlas_3_10_info:
  NOT AVAILABLE
lapack_info:
    library_dirs = ['/usr/lib']
    libraries = ['lapack', 'lapack']
    language = f77
atlas_blas_threads_info:
  NOT AVAILABLE

它没有显示与 openblas 的链接。但是，脚本的新结果显示 numpy 一定使用过 openblas：

dotted two (1000,1000) matrices in 15.2 ms
dotted two (4000) vectors in 2.64 us
SVD of (2000,1000) matrix in 0.469 s
Eigendecomp of (1500,1500) matrix in 2.794 s
于 2016-07-04T17:34:26.320 回答
5

这是一种比@ali_m 的答案更简单的方法，它适用于 macOS。

  1. 如果没有，请安装 gfortran 编译器。例如在 macOS 上使用自制软件：

    $ brew install gcc

  2. 从源代码编译OpenBLAS[或使用包管理器]，获取源代码库或下载版本：

    $ git clone https://github.com/xianyi/OpenBLAS
$ cd OpenBLAS && make FC=gfortran
$ sudo make PREFIX=/opt/OpenBLAS install

    如果您不/不能sudo，请设置PREFIX=到另一个目录并在下一步中修改路径。

    OpenBLAS 不需要在编译器包含路径或链接器库路径上。

  3. 创建一个~/.numpy-site.cfg包含您在步骤 2 中使用的 PREFIX 路径的文件：

    [openblas]
libraries = openblas
library_dirs = /opt/OpenBLAS/lib
runtime_library_dirs = /opt/OpenBLAS/lib
include_dirs = /opt/OpenBLAS/include

    include_dirs是给编译器的。library_dirs用于链接器。runtime_library_dirs用于加载程序，可能不需要。

  4. pip-install numpy 和 scipy 从源代码（最好安装到 virtualenv 中），无需手动下载它们[您也可以指定发布版本]：

    pip install numpy scipy --no-binary numpy,scipy

  5. 以我的经验，OPENBLAS_NUM_THREADS运行时的此设置使 OpenBLAS 更快，而不是更慢，尤其是。当多个 CPU 进程同时使用它时：

     export OPENBLAS_NUM_THREADS=1

    （或者，您可以使用 . 编译 OpenBLAS make FC=gfortran USE_THREAD=0。）

有关测试它的方法，请参阅其他答案。

于 2018-12-07T02:24:19.580 回答