43

目前我正在使用 numpy 来完成这项工作。但是，由于我正在处理具有数千行/列的矩阵，后来这个数字将上升到数万，我想知道是否存在可以更快地执行这种计算的包？

4

2 回答 2

62

  • **如果您的矩阵是稀疏的，则使用 scipy.sparse 中的构造函数实例化您的矩阵，然后使用辣味.sparse.linalg中的类似特征向量/特征值方法。从性能的角度来看，这有两个优点：

    • 你的矩阵，由辣味.sparse 构造函数构建，将与它的稀疏程度成比例地变小。

    • 稀疏矩阵（eigs，eigsh ）的特征值/特征向量方法接受一个可选参数，k是您想要返回的特征向量/特征值对的数量。几乎总是解释> 99％的方差所需的数量远少于列数，您可以事后验证；换句话说，您可以告诉方法不要计算并返回所有特征向量/特征值对——除了考虑方差所需的（通常）小子集之外，您不太可能需要其余部分。

  • 使用SciPy中的线性代数库 scipy.linalg代替同名的NumPy库。这两个库具有相同的名称并使用相同的方法名称。不过性能还是有区别的。这种差异是由于numpy.linalg是对类似 LAPACK 例程的 不太忠实的包装器，它为了可移植性和便利性而牺牲了一些性能（即，为了符合NumPy设计目标，即整个NumPy库应该在没有 Fortran 的情况下构建编译器）。另一方面，SciPy 中的 linalg 是 LAPACK 上更完整的包装器 ，它使用f2py。

  • 选择适合您的用例的功能；换句话说，不要使用功能超出您的需要。在scipy.linalg 中有几个函数可以计算特征值；差异并不大，但通过仔细选择计算特征值的函数，您应该会看到性能提升。例如：

    • scipy.linalg.eig返回特征值和特征向量
    • scipy.linalg.eigvals，仅返回特征值。因此，如果您只需要矩阵的特征值，则不要使用linalg.eig，而是使用linalg.eigvals。
    • 如果你有一个实值平方对称矩阵（等于它的转置），那么使用scipy.linalg.eigsh

  • 优化您的 Scipy 构建准备您的 SciPy 构建环境主要在 SciPy 的setup.py脚本中完成。也许最重要的性能选项是识别任何优化的 LAPACK 库，例如ATLAS或 Accelerate/vecLib 框架（仅限 OS X？），以便 SciPy 可以检测它们并针对它们进行构建。根据您目前拥有的装备，优化您的 SciPy 构建然后重新安装可以显着提高性能。来自 SciPy 核心团队的其他说明在这里。

这些函数是否适用于大型矩阵？

我应该这样认为。这些是工业强度的矩阵分解方法，它们只是类似 Fortran LAPACK例程的薄包装。

我已经使用了 linalg 库中的大多数方法来分解列数通常在 5 到 50 之间并且行数通常超过 500,000 的矩阵。SVD和特征值方法在处理这种大小的矩阵时似乎都没有任何问题。

使用SciPy库linalg ，您可以使用此库中的几种方法eig、eigvalsh和eigh中的任何一种，通过一次调用来计算特征向量和特征值。

>>> import numpy as NP
>>> from scipy import linalg as LA

>>> A = NP.random.randint(0, 10, 25).reshape(5, 5)
>>> A
    array([[9, 5, 4, 3, 7],
           [3, 3, 2, 9, 7],
           [6, 5, 3, 4, 0],
           [7, 3, 5, 5, 5],
           [2, 5, 4, 7, 8]])

>>> e_vals, e_vecs = LA.eig(A)
于 2011-07-14T04:37:32.233 回答
9

如果您的矩阵是稀疏的，您可以尝试使用 scipy 的稀疏特征值函数，它应该更快：

http://docs.scipy.org/doc/scipy/reference/sparse.linalg.html

您还可以查看专门的包，如 SLEPc，它具有 python 绑定并且可以使用 mpi 并行进行计算：

http://code.google.com/p/slepc4py/

于 2011-07-13T19:29:27.887 回答