0

我正在使用 Pythran 将 Python 代码编译成 C/C++，并在 Windows 上支持 OpenMP。现在文档不适用于 Windows - 它指出：“Windows 支持正在进行中，并且仅针对带有 Visual Studio 2017 或更好的 clang-cl 的 Python 3.5+。请注意，使用 clang-cl.exe 是默认设置. 可以通过CXX和CC环境变量来改变。"

从玩弄我发现你必须使用clang-cl.exe，否则代码将无法编译（MSVC 不喜欢它）。

因此，首选编译器是Clang 12clang-cl.exe的“插入式”替代品，它是cl.exe通过选择“C++ Clang tools for Windows”从 Visual Studio 2019 安装程序安装的，现在我拥有C:\Program Files (x86)\Microsoft Visual Studio\2019\BuildTools\VC\Tools\Llvm\x64\bin\clang-cl.exeLLVM 链接器lld-link.exe- 因为clang-cl.exe是默认值我不需要更改任何设置文件，我只是vcvarsall.bat在 Pythran 之前运行，所以编译器目录在路径中。（我后来注意到lld-link.exe需要对 distutils _msvccompiler.py 进行一些黑客攻击，切换link.exe到lld-link.exe并注释掉该'/LTCG'标志，因为 Clang 没有该选项，然后它可以工作......但仍然没有 OpenMP......

我在 Anaconda 中使用虚拟环境编译了一个示例，该环境pip安装了 NumPy 和 SciPy 库（OpenBLAS 后端），因为几乎没有记录 MKL 支持。它需要这个pythran-openblas包，所以我也安装了它，它编译得很好，clang-cl我可以毫无问题地导入它。我发现 [Python]\Lib\site-packages\pythran\pythran-win32.cfg 有一个选项可以传递cflags，我可以在其中键入正确的编译器参数，例如：-Xclang -fopenmp -march=ivybridge当运行 pythran [script.py] 时，所有这些标志都被传递正确的方法（使用默认值是不正确的）。但是......来自文档的这个例子仍然没有并行运行。

我在 Stack Exchange 上发现：clang-cl -cc1 --help会输出 clang 可以处理的所有参数。在 openmp 下它声明：-fopenmp解析 OpenMP 编译指示并生成并行代码。所以我的猜测是 Pythran 文档中给出的示例没有 OpenMP pragma 可以并行。现在他们为什么要这样做？不知道，因为他们展示了一个通过 OpenMP 使其速度更快的示例，但我无法在 Windows 上重现它。而且我有 6 个核心 / 12 个虚拟，所以我应该看到加速。

其他人有另一个 OpenMP 示例，我可以尝试一下？？？还是以另一种方式解决了使用 OpenMP 的谜团？

非常感激！

4

1 回答 1

0

Pythran 项目维护者在我直接给他发电子邮件后回复了我。似乎仅通过显式 #omp 语句支持 OpenMP。所以前段时间，当他们编写文档时，它会推断出并行例程，但现在不行。因此，要将示例转换为 OpenMP，需要进行一些更改：

#pythran export arc_distance(float[], float[], float[], float[])
import numpy as np
def arc_distance(theta_1, phi_1, theta_2, phi_2):
"""
Calculates the pairwise arc distance
between all points in vector a and b.
"""
    size = theta_1.size
    distance_matrix=np.empty_like(theta_1)
    #omp parallel for
    for i in range(size):
        temp = (np.sin((theta_2[i]-theta_1[i])/2)**2 + np.cos(theta_1[i])*np.cos(theta_2[i]) * np.sin((phi_2[i]-phi_1[i])/2)**2)
        distance_matrix[i] = 2 * np.arctan2(np.sqrt(temp), np.sqrt(1-temp))
    return distance_matrix

但是......还有其他未记录的编译器参数需要传递以使 OpenBLAS 支持的 OpenMP 模块正常工作，这花了我几个小时才弄清楚。他们来了：

Pythran OpenBLAS Windows 10 设置：

找到文件 [Python]\Lib\site-packages\pythran\pythran-win32.cfg

添加到 library_dirs：'C:\Program Files (x86)\Microsoft Visual Studio\2019\BuildTools\VC\Tools\Llvm\x64\lib'

添加到 cflags：-Xclang -fopenmp

添加到 ldflags：\libiomp5md.lib

将 blas 设置为：blas=pythran-openblas

然后它应该用以下代码编译得很好：pythran -v arc_distance.py- 添加-v标志对于发现问题（详细编译器模式）非常有帮助，但不是必需的。

Pythran Intel MKL Windows 10 设置（Anaconda3 默认库）： 我还决定为什么不尝试在默认 Anaconda3 上进行这项工作，其中 NumPy 和 SciPy 等都使用 MKL 编译？我的公司使用 Anaconda3，所以每个人都已经有了 Intel MKL。和 OpenBLAS 设置一样，Windows 的 MKL 设置也没有记录。所以我想通了：

找到文件 [Python]\Lib\site-packages\pythran\pythran-win32.cfg，（很可能在 C:\Users[username]\Anaconda3）

添加到 include_dirs='C:\Program Files (x86)\Microsoft Visual Studio\2019\BuildTools\VC\Tools\Llvm\x64\lib', '[Python]\Library\include'

添加到 cflags：-Xclang -fopenmp

添加到 ldflags：\libomp.lib

将 blas 设置为：blas=mkl

现在，与 OpenBLAS 设置相比，您会注意到上面的一些奇怪的事情。没有填充库路径，而是必须在包含路径中（不要问为什么，我不知道）。OpenMP 库也不同。同样，我不知道为什么使用 OpenBLAS 的那个拒绝使用英特尔 MKL。但无论如何，这将为您在基于英特尔 MKL 的系统上提供带有 OpenMP 的 Pythran。

于 2022-02-20T03:30:46.233 回答