问题标签 [mpi-io]

我刚开始学习MPI I/O，所以我得到了一个简单的测试代码如下

我使用了-np = 4，所以我希望输出是：

相反，我得到了

好像该功能mpi_file_set_view根本不起作用。有什么建议么？

我在 Ubuntu 上使用了 OpenMPI 1.7 和 ifort 13。

如何使用 MPI-IO 将文件从一个计算的 localscratch 传输到集群中另一个计算节点的 localscratch？

我想用 MPI IO 来写文件。这些进程处于一个while循环中，它调用一个生成随机数据量的函数。我想将此数据写入单个文件。我怎样才能做到这一点？

我正在尝试使用 MPI 将一些符号写入文件。当我这样做时，我得到一个错误代码 288 并且文件无法打开。我使用命令行：mpiexec -n 10 myapp.exe。我正在搜索错误代码，但根本没有找到任何东西。

我一直在尝试在大量内核上使用 MPI I/O 运行代码。每个内核读取和写入单个文件（所有内核都相同）所需的时间随着使用的内核数量而增加。我目前正在使用 512 个内核，这个问题使我的项目不可行。但是，即使在 8 个内核上运行，也会出现问题；然后读取文件中的第一个实数大约需要 0.2 秒。在 32 个内核上，写入一个实数需要 30 秒以上。我在这里运行它：https ://www.msi.umn.edu/hpc/itasca 。下面的简单代码正是产生了这个问题（在此计算文件中元素的数量似乎没有必要，但在我的实际代码中却是必需的）：

I am writing a parallel VTK file (pvti) from my fortran CFD solver. The file is really just a list of all the individual files for each piece of the data. Running MPI, if I have each process write the name of its individual file to standard output

then I get a nice list of each file, ie

This is exactly the sort of list I want. But if I write to a file

then I only get one output in the file. Is there a simple way to replicate the standard output version of this without transferring data?

我正在测试 MPI I/O。

未定义的变量来自主机关联，删除了一些错误检查。在国家学术集群上运行它时收到此错误：

该错误是由对 的调用触发的MPI_File_write_all。我怀疑它可能与缓冲区的大小有关，缓冲区的大小按to .nx*ny*nz的顺序是完整的，但我不能排除我这边的编程错误，因为我之前没有 MPI I/O 的经验。10^510^6

使用的 MPI 实现OpenMPI 1.8.0与 Intel Fortran 14.0.2 一起使用。

你知道如何让它工作并编写文件吗？

--- 编辑2 ---

测试简化版，重要代码不变，完整源码在这里。请注意，它适用于 gfortran，但适用于英特尔的不同 MPI。我无法用 PGI 编译它。我也错了，它只在不同的节点上失败，即使在单个进程运行中也会失败。

有谁知道从 MPI 中读取/写入文件到我的 hdfs 的好方法？我已经做了大量的挖掘工作试图弄清楚这一点，只需要一个大致的方向来追求。

我正在将 mpi4py 用于我想要并行化的项目。下面是我的程序的非常基本的伪代码：

我想通过简单地让每个进程将自己的结果写入数据库来消除对 MPI.Gather 的调用。所以我希望我的伪代码看起来像这样：

这将大大提高我的程序的性能。但是，我不完全确定如何做到这一点。我试图通过谷歌找到方法，但我唯一能找到的就是 MPI-IO。是否可以使用 MPI-IO 写入数据库？具体使用 python、sqlite 和 mpi4py。如果没有，是否有任何替代方法可以同时写入 sqlite 数据库？

编辑：

正如@CL 在评论中指出的那样，sqlite3 不支持并发写入数据库。所以让我换个方式问我的问题：有没有办法锁定对数据库的写入，以便其他进程等到锁定被删除后再写入？我知道 sqlite3 有自己的锁定模式，但这些模式似乎会导致插入失败而不是阻塞。我知道我在 Python 线程中看到过类似的东西，但我无法在网上找到任何关于使用 MPI 执行此操作的信息。

我有2处理器（这是一个例子），我希望这些2处理器写入一个文件。我希望他们写在文件的末尾，但不是混合模式，就像这样：

我想让他们按照这种模式写：

可能吗？如果是这样，要使用的设置是什么？