10

正如标题所示 numpy.dot (我认为 numpy 是通用的)在更新我的系统后执行速度要慢得多。我运行比较的示例代码是:

from numpy import *
import time
A=random.random((1000,1000))
B=random.random((1000,1000))
st=time.time();dot(A,B);end=time.time();print end-st

以下代码在我的另一台计算机上花费了 ~0.09 秒(有问题的计算机过去运行速度与另一台计算机一样快),但代码在有问题的计算机上花费了 ~0.26 秒。

这是我解决这个问题的尝试。我的第一个猜测是,1:ATLAS 没有连接到 numpy。因此,我使用 synaptic、libatlas3-bas、libatlas-doc、libatlas-dev、libatlas3gf-bas、libatlas-bas-dev 安装了 atlas 包。

安装后,我通过键入检查 numpy 是否链接到 atlas

import numpy.distutils.system_info as sysinfo
sysinfo.get_into('atlas')

返回消息如下:

ATLAS version 3.10.1 built by buildd on Sat Jul 27 19:04:50 UTC 2013:
   UNAME    : Linux roseapple 3.2.0-37-generic #58-Ubuntu SMP Thu Jan 24 15:28:10 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux

   INSTFLG  : -1 0 -a 1 -l 1
   ARCHDEFS : -DATL_OS_Linux -DATL_ARCH_x86SSE2 -DATL_CPUMHZ=1596 -DATL_SSE2 -DATL_SSE1 -DATL_USE64BITS -DATL_GAS_x8664
   F2CDEFS  : -DAdd_ -DF77_INTEGER=int -DStringSunStyle
   CACHEEDGE: 1048576
   F77      : /usr/bin/x86_64-linux-gnu-gfortran-4.8, version GNU Fortran (Ubuntu/Linaro 4.8.1-8ubuntu1) 4.8.1
   F77FLAGS : -fomit-frame-pointer -mfpmath=sse -O2 -msse2 -fPIC -m64
   SMC      : /usr/bin/c99-gcc, version gcc (Ubuntu/Linaro 4.8.1-8ubuntu1) 4.8.1
   SMCFLAGS : -fomit-frame-pointer -mfpmath=sse -O2 -msse2 -fPIC -m64
   SKC      : /usr/bin/c99-gcc, version gcc (Ubuntu/Linaro 4.8.1-8ubuntu1) 4.8.1
   SKCFLAGS : -fomit-frame-pointer -mfpmath=sse -O2 -msse2 -fPIC -m64
Out[12]: 
{'define_macros': [('ATLAS_INFO', '"\\"3.10.1\\""')],
 'include_dirs': ['/usr/include/atlas'],
 'language': 'f77',
 'libraries': ['lapack', 'f77blas', 'cblas', 'atlas'],
 'library_dirs': ['/usr/lib/atlas-base/atlas', '/usr/lib/atlas-base']}

所以,我假设它是链接的。我也进入 numpy/core/ 路径并输入

$ldd _dotblas.so 

输出是

linux-vdso.so.1 =>  (0x00007fff16ffa000)
libcblas.so.3 => /usr/lib/libcblas.so.3 (0x00007fa913908000)
libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007fa9136eb000)
libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007fa913322000)
libatlas.so.3 => /usr/lib/libatlas.so.3 (0x00007fa912d8f000)
libgfortran.so.3 => /usr/lib/x86_64-linux-gnu/libgfortran.so.3 (0x00007fa912a77000)
libgcc_s.so.1 => /lib/x86_64-linux-gnu/libgcc_s.so.1 (0x00007fa912860000)
libm.so.6 => /lib/x86_64-linux-gnu/libm.so.6 (0x00007fa91255c000)
/lib64/ld-linux-x86-64.so.2 (0x00007fa913d4f000)
libquadmath.so.0 => /usr/lib/x86_64-linux-gnu/libquadmath.so.0 (0x00007fa912320000)

然后,为了确保 libcblas.so.3 链接到 ATLAS,我输入了

$ /usr/sbin/update-alternatives --config libblas.so.3
There are 4 choices for the alternative libblas.so.3 (providing /usr/lib/libblas.so.3).

  Selection    Path                                     Priority   Status
------------------------------------------------------------
  0            /usr/lib/openblas-base/libopenblas.so.0   40        auto mode
* 1            /usr/lib/atlas-base/atlas/libblas.so.3    35        manual mode
  2            /usr/lib/libblas/libblas.so.3             10        manual mode
  3            /usr/lib/openblas-base/libopenblas.so     30        manual mode
  4            /usr/lib/openblas-base/libopenblas.so.0   40        manual mode

Press enter to keep the current choice[*], or type selection number: 1

以下步骤没有解决我的问题...

  1. 我意识到我的 CPU 节流已开启,而当 CPU 节流开启时,ATLAS 无法正常工作。因此,我使用 rcconf 将其关闭,并如上所述重新安装 Atlas 并重新安装 Numpy ......但这并没有解决问题......

  2. 现在我正在运行 python 2.7.5+,所以我也尝试重新安装它.. 没有解决问题。

  3. 我检查了我的记忆..

             total       used       free     shared    buffers     cached
    

    电话:5959 2345 3614 0 86 730

    -/+ 缓冲区/缓存:1528 4431

    交换:6133 0 6133

而且我的内存是免费的..我的matlab代码运行速度和以前一样快..所以我不认为这是内存问题..

有人可以帮忙吗?numpy 的线性代数包似乎很慢......现在,它大大延迟了我的模拟,所以我无法真正运行我的代码。非常感谢您!让我知道我的问题是否有任何混淆。!

4

1 回答 1

6

当您说“并重新安装 Numpy”时,您使用的是 pip 还是 apt-get/synaptic?

可以通过 Ubuntu(或 Debian)打包的 NumPy 版本apt-get install python-numpy是预先编译好的。另一方面,使用NumPy 源目录pip install numpypython setup.py在 NumPy 源目录中安装 NumPy 会使用可用的编译器从源代码构建 NumPy。

然后,您可能更喜欢在您自己的计算机上使用 ATLAS 编译 NumPy。ATLAS 将使用您计算机的特性优化 NumPy 库(实际上需要关闭 CPU 节流)。

apt-get install -y python-pip python-dev build-essential
pip install -U cython

apt-get install -y gcc gfortran libatlas-base-dev liblapack-dev
pip install numpy

您可能希望阅读ATLAS 安装指南在 Linux 上从源代码构建 NumPy 和 SciPy的说明

这可能是您已经完成的,但其他人可能会发现它很有用!

于 2014-10-15T16:09:39.347 回答