假设我对从模拟中写入监控文件有以下要求：
- 必须写入大量单个文件，通常为 10000 个
- 文件必须是人类可读的，即格式化的 I/O
- 定期向每个文件添加一个新行。通常每 50 秒一次。
- 新数据必须几乎可以立即访问，因此不能选择大型手动写入缓冲区
- 我们使用的 Lustre 文件系统似乎针对相反的情况进行了优化：对少量大文件的顺序写入。
制定要求的不是我，所以很遗憾，讨论它们没有意义。我只想找到具有上述先决条件的最佳解决方案。我想出了一个小的工作示例来测试一些实现。这是迄今为止我能做的最好的事情：
!===============================================================!
! program to test some I/O implementations for many small files !
!===============================================================!
PROGRAM iotest
use types
use omp_lib
implicit none
INTEGER(I4B), PARAMETER :: steps = 1000
INTEGER(I4B), PARAMETER :: monitors = 1000
INTEGER(I4B), PARAMETER :: cachesize = 10
INTEGER(I8B) :: counti, countf, count_rate, counti_global, countf_global
REAL(DP) :: telapsed, telapsed_global
REAL(DP), DIMENSION(:,:), ALLOCATABLE :: density, pressure, vel_x, vel_y, vel_z
INTEGER(I4B) :: n, t, unitnumber, c, i, thread
CHARACTER(LEN=100) :: dummy_char, number
REAL(DP), DIMENSION(:,:,:), ALLOCATABLE :: writecache_real
call system_clock(counti_global,count_rate)
! allocate cache
allocate(writecache_real(5,cachesize,monitors))
writecache_real = 0.0_dp
! fill values
allocate(density(steps,monitors), pressure(steps,monitors), vel_x(steps,monitors), vel_y(steps,monitors), vel_z(steps,monitors))
do n=1, monitors
do t=1, steps
call random_number(density(t,n))
call random_number(pressure(t,n))
call random_number(vel_x(t,n))
call random_number(vel_y(t,n))
call random_number(vel_z(t,n))
end do
end do
! create files
do n=1, monitors
write(number,'(I0.8)') n
dummy_char = 'monitor_' // trim(adjustl(number)) // '.dat'
open(unit=20, file=trim(adjustl(dummy_char)), status='replace', action='write')
close(20)
end do
call system_clock(counti)
! write data
c = 0
do t=1, steps
c = c + 1
do n=1, monitors
writecache_real(1,c,n) = density(t,n)
writecache_real(2,c,n) = pressure(t,n)
writecache_real(3,c,n) = vel_x(t,n)
writecache_real(4,c,n) = vel_y(t,n)
writecache_real(5,c,n) = vel_z(t,n)
end do
if(c .EQ. cachesize .OR. t .EQ. steps) then
!$OMP PARALLEL DEFAULT(SHARED) PRIVATE(n,number,dummy_char,unitnumber, thread)
thread = OMP_get_thread_num()
unitnumber = thread + 20
!$OMP DO
do n=1, monitors
write(number,'(I0.8)') n
dummy_char = 'monitor_' // trim(adjustl(number)) // '.dat'
open(unit=unitnumber, file=trim(adjustl(dummy_char)), status='old', action='write', position='append', buffered='yes')
write(unitnumber,'(5ES25.15)') writecache_real(:,1:c,n)
close(unitnumber)
end do
!$OMP END DO
!$OMP END PARALLEL
c = 0
end if
end do
call system_clock(countf)
call system_clock(countf_global)
telapsed=real(countf-counti,kind=dp)/real(count_rate,kind=dp)
telapsed_global=real(countf_global-counti_global,kind=dp)/real(count_rate,kind=dp)
write(*,*)
write(*,'(A,F15.6,A)') ' elapsed wall time for I/O: ', telapsed, ' seconds'
write(*,'(A,F15.6,A)') ' global elapsed wall time: ', telapsed_global, ' seconds'
write(*,*)
END PROGRAM iotest
主要特点是：OpenMP 并行化和手动写入缓冲区。以下是具有 16 个线程的 Lustre 文件系统的一些时序：
- cachesize=5：I/O 已用的挂墙时间：991.627404 秒
- cachesize=10：I/O 已用的挂墙时间：415.456265 秒
- cachesize=20：I/O 已用的挂墙时间：93.842964 秒
- cachesize=50：I/O 已用的挂墙时间：79.859099 秒
- cachesize=100：I/O 已用的挂墙时间：23.937832 秒
- cachesize=1000：I/O 已用的挂墙时间：10.472421 秒
作为参考，在本地工作站 HDD 上使用已停用的 HDD 写入缓存，16 个线程的结果：
- cachesize=1：I/O 已用的挂墙时间：5.543722 秒
- cachesize=2：I/O 已用的挂墙时间：2.791811 秒
- cachesize=3：I/O 已用的挂墙时间：1.752962 秒
- cachesize=4：I/O 已用的挂墙时间：1.630385 秒
- cachesize=5：I/O 已用的挂墙时间：1.174099 秒
- cachesize=10：I/O 已用的挂墙时间：0.700624 秒
- cachesize=20：I/O 已用的挂墙时间：0.433936 秒
- cachesize=50：I/O 已用的挂墙时间：0.425782 秒
- cachesize=100：I/O 已用的挂墙时间：0.227552 秒
如您所见，与普通 HDD 相比，Lustre 文件系统上的实现仍然慢得令人尴尬，我需要巨大的缓冲区大小才能将 I/O 开销降低到可容忍的程度。这意味着输出落后于之前制定的要求。另一种有前途的方法是在连续写入之间让单元保持打开状态。不幸的是，在没有 root 权限的情况下，同时打开的单元数量通常被限制为 1024-4096。所以这不是一个选项，因为文件的数量可以超过这个限制。
如何在满足要求的同时进一步降低 I/O 开销？
编辑 1 从与 Gilles 的讨论中，我了解到即使使用普通用户权限也可以调整光泽文件系统。所以我尝试按照建议将条带计数设置为 1（这已经是默认设置）并将条带大小减小到支持的最小值 64k（默认值为 1M）。但是，这并没有提高我的测试用例的 I/O 性能。如果有人对更合适的文件系统设置有其他提示，请告诉我。