c++ - 在分布式文件系统上并行导出 ASCII 文件

Question

我需要在分布式文件系统上导出 ASCII 文件。目前我在每个节点上以附加模式打开文件流到同一个文件。然后我按节点顺序导出所有数据。该解决方案能否在分布式文件系统上正常工作，还是必须使用 MPI-I/O？看来我不是很了解并行文件系统的概念。

PS 该文件必须是 ASCII。

Answer 1

使用 MPI-I/O，您不能在文件末尾并行追加数据。您可以将数据并行写入文件的特定位置（每个 MPI 进程的不同位置），因此您需要知道每个进程的偏移量。这对于 ASCII 文件可能不可行。

另一种选择是由每个 MPI 进程（并行）编写一个单独的文件，然后将这些文件合并为一个超出并行程序范围的文件。