7

我最近遇到了一些未经充分测试的遗留代码，用于将分布在多个进程（这些是基于 MPI 的并行计算的一部分）的数据写入同一个文件。这真的可以保证工作吗？

它是这样的：

  • 所有进程都打开同一个文件进行写入。

  • 每个进程调用fseek以寻找文件中的不同位置。此位置可能超出文件末尾。

  • 然后每个进程将一个数据块写入文件中fwrite。查找位置和块大小使得这些写入完全平铺文件的一部分——没有间隙，没有重叠。

这能保证工作，还是有时会严重失败？没有锁定来序列化写入，实际上它们很可能是从同步点开始的。另一方面，我们可以保证它们正在写入不同的文件位置，这与尝试从多个进程写入“文件末尾”时遇到问题的其他问题不同。

我突然想到，这些进程可能位于通过 NFS 挂载文件的不同机器上，我怀疑这可能回答了我的问题——但是，如果文件是本地的，它会工作吗？

4

1 回答 1

4

我相信这通常会起作用，但不能保证我能找到。fwrite(3) 的 Posix 规范遵循 ISO C，并且两个标准都没有提到并发性。

所以我怀疑它通常会起作用，但 fseek(3) 和 fwrite(3) 是缓冲的 I/O 函数，所以成功将取决于库实现的内部细节。因此，绝对不能保证，但有各种理由期望它会起作用。

现在，如果程序使用 lseek(2) 和 write(2) 那么我相信你可以考虑保证结果，但现在它仅限于 Posix 操作系统。

有一件事似乎……很奇怪……为什么MPI 程序会决定通过NFS而不是消息 API 共享其数据？它看起来更慢、更不便携、更容易出问题，而且通常只是浪费 MPI 功能集。鉴于对单个 NFS 服务器的依赖，它肯定不再是分布式的。

于 2012-05-12T18:41:41.840 回答