2

我的模型为每个时间步长和每个变量生成一个名为 DDDDDDD.VVV.nc 的 netcdf 文件，其中 DDDDDDD 是日期，VVV 是变量名。

对于每个时间步，我使用 nco 附加与不同变量对应的文件，以便每个时间步获取一个文件。

#! /bin/bash  
# looping on timesteps to merge all variables 
# I use one variable 'O2o' to get the list of timesteps                                                                                                                                                                    
for timesteps in *.O2o.nc;
do
  timestep=$(echo $timesteps| cut -b -21)
  echo $timestep
   for var in $timestep*.nc;
   do
     ncks -Ah  $var 'F1_'$timestep.nc
   done
done

大约有 432 个输出变量，每个文件大约 6,4K 或 1,1K（变量的维数不一样）。

我发现这个过程非常慢（例如每个时间步长 15 秒），而文件非常小。知道我应该如何优化脚本吗？

4

1 回答 1

4

缓慢可能是由于打开、移动数据、添加数据和关闭文件 432 次。要优化这一点，请减少文件操作的数量，特别是附加（导致）。尝试一次将所有数据写入一个 netCDF4 文件（成组），然后将文件展平为 netCDF3。对于每个时间步长，它将如下所示：

ncecat --gag in*.nc all_group.nc
ncks -3 -G : all_group.nc all_flat.nc

两个命令而不是 432。如​​果任何变量出现在多个输入文件中，您将收到一条错误消息，指出变量将在 all_flat.nc 中多次定义。通过删除重复的输入来避免这种情况。

于 2016-04-27T11:08:17.503 回答