从这里开始:文件附加在 UNIX 中是原子的吗
考虑多个进程打开同一个文件并附加到它的情况。O_APPEND 保证寻找到文件末尾然后开始写操作是原子的。因此,多个进程可以附加到同一个文件,只要每个写入大小 <= PIPE_BUF,任何进程都不会覆盖任何其他进程的写入。
我编写了一个测试程序,其中多个进程打开并写入同一个文件(write(2)
)。我确保每个写入大小 > PIPE_BUF (4k)。我期待看到进程覆盖其他人的数据的情况。但这不会发生。我测试了不同的写入大小。这只是运气还是没有发生这种情况的原因?我的最终目标是了解附加到同一文件的多个进程是否需要协调它们的写入。
这是完整的程序。每个进程创建一个 int 缓冲区,用它的 填充所有值rank
,打开一个文件并写入它。
规格:OpenMPI 1.4.3 on Opensuse 11.3 64-bit
编译为:mpicc -O3 test.c,运行为:mpirun -np 8 ./a.out
#include <stdio.h>
#include <stdlib.h>
#include <mpi.h>
#include <fcntl.h>
#include <unistd.h>
#include <sys/types.h>
#include <sys/stat.h>
int
main(int argc, char** argv) {
int rank, size, i, bufsize = 134217728, fd, status = 0, bytes_written, tmp_bytes_written;
int* buf;
char* filename = "/tmp/testfile.out";
MPI_Init(&argc, &argv);
MPI_Comm_rank(MPI_COMM_WORLD, &rank);
MPI_Comm_size(MPI_COMM_WORLD, &size);
buf = (int*) malloc (bufsize * sizeof(int));
if(buf == NULL) {
status = -1;
perror("Could not malloc");
goto finalize;
}
for(i=0; i<bufsize; i++)
buf[i] = rank;
if(-1 == (fd = open(filename, O_APPEND|O_WRONLY, S_IWUSR))) {
perror("Cant open file");
status = -1;
goto end;
exit(-1);
}
bytes_written = 0;
if(bufsize != (tmp_bytes_written = write(fd, buf, bufsize))) {
perror("Error during write");
printf("ret value: %d\n", tmp_bytes_written);
status = -1;
goto close;
}
close:
if(-1 == close(fd)) {
perror("Error during close");
status = -1;
}
end:
free(buf);
finalize:
MPI_Finalize();
return status;
}