3

我正在尝试优化一些python代码（以加快一些矩阵运算），我的代码类似于这个（我的真实数据集也类似于'gps'），

import numpy as np
gps = [np.random.rand(50,50) for i in xrange(1000)]
ips = np.zeros( (len(gps),len(gps)), dtype='float32')

for i in xrange(len(gps)):
  for j in xrange(0,i+1):
    ips[i,j]= f.innerProd(gps[i],gps[j])
    ips[j,i]= ips[i,j]
   print "Inner product matrix: %3.0f %% done (%d of %d)"%  \
               (((i+1)**2.)/(len(gps)**2.)*100, i, len(gps))

def innerProd(mat1,mat2):
    return float(np.sum(np.dot(np.dot(mat1,mat2),mat1)))

我想了解的是，为什么程序在第一次迭代期间开始快速运行，然后随着进一步迭代而减慢？我知道这个问题可能有点幼稚，但我真的想在尝试其他任何事情之前更清楚地了解正在发生的事情。我已经在 Fortran 中实现了我的函数（在 Fortran 领域内保留任何 for 循环）并使用 f2py 创建一个动态库来从 python 调用函数，这将是 python 中的新代码。

import numpy as np
import myfortranInnProd as fip

gps = [np.random.rand(50,50) for i in xrange(1000)]
ips = np.zeros( (len(gps),len(gps)), dtype='float32')

ips = fip.innerProd(gps)

不幸的是，我只是（令人惊讶地）发现我的 fortran-python 版本比第一个版本慢 1.5 ~ 2 倍（重要的是要提到我在 Fortran 实现中使用了 MATMUL() ）。我已经在谷歌上搜索了一段时间，我相信这种“减速”与内存带宽、内存分配或缓存有关，因为数据集很大，但我不太确定背后到底发生了什么以及如何我可以提高性能吗？我已经在小型英特尔原子、2GB ram 和 4 核英特尔至强处理器上运行了代码，8GB（当然还有相应缩放的数据集）并且“减速”行为是相同的。

我只需要了解为什么会发生这种“减速”？如果我在 C 中实现这个函数会有什么好处吗？或尝试实现它以在 GPU 上运行？任何其他想法如何改进它？提前致谢

4

2 回答 2

4

冒着明显的风险，每次完成外循环的执行时，内循环的执行次数都会增加。为0时i，内层循环只执行一次，i为100时，执行101次。这可以解释您的观察结果，还是您的意思是内部循环本身的每次执行都会随着时间的推移而变慢？

于 2011-05-01T02:27:16.887 回答
2

内for循环的执行次数取决于 的值i，即外for循环的索引。由于每次内部循环完成时都会显示调试，因此随着增长，它显示的频率i越来越低。（但请注意，百分比会定期增加。）

于 2011-05-01T02:27:24.943 回答