1

我必须用 C（或 C++）编写一个程序，Linux用于测试不同文件系统上的写入和读取速度。我必须确保所有数据都写入磁盘（不在缓存中）。

所以我的第一个问题——我应该使用什么函数来打开一个新文件？我之前使用open了带参数的函数，O_DIRECT除了O_SYNC一件事之外一切都很好 - 编写像 1KB 这样的小文件非常慢，比如 0.01MB/s。

我尝试改用fopen函数open，并使用函数fflush来确保所有数据都直接写入磁盘，并且我首先在FAT32文件系统上对其进行了测试。在 5 秒内将 1000 个 1KB 的文件写入磁盘（此处为 SD 卡）。大约 0.18MB/s，我认为这是正确的。

现在问题出现在测试EXT4和NTFS文件系统时。上EXT4。1KB 文件的写入速度类似于 12MB/s（错误），在测试 100KB 传输时为 180MB/s（非常错误，我的 SD 卡的传输速率只有 20MB/s）。

我写文件的实际代码如下所示：

clock_gettime(CLOCK_REALTIME, &ts);

for ( int i = 0; i < amount; ++i)
{
    p = fopen(buffer2, "w+");

    fwrite(buff, size*1024, 1, p);
    if ( fflush(p) != 0 ) { cout << "fflush error"; return 0; } 

    fclose(p);
}

clock_gettime(CLOCK_REALTIME, &ts2);

time2 = diff2(ts,ts2);

仅适用于FAT32文件系统。第二个代码（之前使用过）如下所示：

for ( int i = 0; i < amount; ++i)
{
    int fd = open(buffer2, O_WRONLY | O_CREAT, 0777);
    if ( error(fd, "open") ) return false;

    if ( (write(fd, buff, size*1024)) < 0 ) { perror("write error"); return 0; }

    if ( (fsync(fd)) == -1 ) { perror("fsync"); return 0; }

    close(fd);
}

适用于所有文件系统，但小文件写入速度极慢。也许我应该为不同的文件系统使用不同的代码？有任何想法吗？

EDIT：

我发现了为什么写小文件很慢。这是因为fsync功能，在不同的文件系统上需要不同的时间。我打电话给fsync每一次写，所以这就是问题所在。

当所有文件都被写入时，有什么方法可以在最后调用它？或者也许每隔几秒钟？我必须使用不同的线程吗？

4

1 回答 1

1

请参阅如何确保在关闭 fstream 之前将数据写入磁盘？但我认为您不能确保数据实际上在磁盘上，而不是在磁盘控制器的缓存中，甚至在驱动器的板载缓存中

于 2013-04-11T15:52:59.913 回答