我想知道逐块写入文件的好处是什么。我认为它会减少 io 操作。但是在 linux 中,环境数据无论如何都会进入页面缓存和后台守护进程进行物理磁盘写入(如果我错了,请纠正我)。在那种环境中,块写入的优点是什么?
问问题
226 次
1 回答
3
如果我正确理解您的问题,那么您是在询问使用较大块的优势,而不是逐个字符地编写。
您必须考虑每次使用系统调用(例如write()
)本身具有最低成本,无论正在做什么。此外,它可能会导致调用进程受到上下文切换的影响,这有其自身的成本,并且还允许其他进程使用 CPU,从而导致更大的延迟。
因此——即使我们忘记了每个操作都可能立即进入磁盘的直接和同步 I/O 模式——从性能的角度来看,通过移动更大的数据块来减少这些恒定成本的影响是有意义的。
dd
用于传输 1,000,000 字节的简单演示:
$ dd if=/dev/zero of=test.txt count=1000000 bs=1 # 1,000,000 blocks of 1 byte
1000000+0 records in
1000000+0 records out
1000000 bytes (1.0 MB) copied, 1.55779 s, 642 kB/s
$ dd if=/dev/zero of=test.txt count=100000 bs=10 # 100,000 blocks of 10 bytes
100000+0 records in
100000+0 records out
1000000 bytes (1.0 MB) copied, 0.172038 s, 5.8 MB/s
$ dd if=/dev/zero of=test.txt count=10000 bs=100 # 10,000 blocks of 100 bytes
10000+0 records in
10000+0 records out
1000000 bytes (1.0 MB) copied, 0.0262843 s, 38.0 MB/s
$ dd if=/dev/zero of=test.txt count=1000 bs=1000 # 1,000 blocks of 1,000 bytes
1000+0 records in
1000+0 records out
1000000 bytes (1.0 MB) copied, 0.0253754 s, 39.4 MB/s
$ dd if=/dev/zero of=test.txt count=100 bs=10000 # 100 blocks of 10,000 bytes
100+0 records in
100+0 records out
1000000 bytes (1.0 MB) copied, 0.00919108 s, 109 MB/s
作为一个额外的好处,使用更大的数据块可以让 I/O 调度器和文件系统的分配器对您的实际工作负载做出更准确的估计。
于 2012-07-12T05:12:39.220 回答