1

我在一个网格上有一个大约 100 个时间步长的 netcdf 文件,其中一个变量是在时间步长上累积的。我现在有兴趣计算每个时间步对变量值的贡献(即连续时间步的差异)。

目前我使用以下顺序:

  1. 要将每个时间步提取到我使用的新文件cdo seltimestep,$i ...中,
  2. 计算每个差异到一个新文件中cdo sub $i ${i-1} ...
  3. 最后将这些新文件合并cdo mergetime ...到一个结果文件中。

在我看来,这对于性能来说非常繁琐且不理想。由于时间步长,我不能使用 cdo 管道,因此需要同时创建许多文件。

有没有一种更好的解决方案可以使用 cdo(或其他类似 nco/ncl 的东西)将累积变量转换为时间步长值?

4

3 回答 3

2

numpy 的 diff计算连续条目的差异。

我怀疑你的文件中有一个多维变量,所以这里有一个通用的例子来说明如何做到这一点:

import netCDF4
import numpy as np

ncfile = netCDF4.Dataset('./myfile.nc', 'r')
var = ncfile.variables['variable'][:,:,:] # [time x lat x lon]

# Differences with a step of 1 along the 'time' axis (0) 
var_diff = np.diff(var, n=1, axis=0) 
ncfile.close()

# Write out the new variable to a new file     
ntim, nlat, nlon = np.shape(var_diff)

ncfile_out = netCDF4.Dataset('./outfile.nc', 'w')
ncfile_out.createDimension('time', ntim)
ncfile_out.createDimension('lat', nlat)
ncfile_out.createDimension('lon', nlon)
var_out = ncfile_out.createVariable('variable', 'f4', ('time', 'lat', 'lon',))
var_out[:,:,:] = var_diff[:,:,:]
ncfile_out.close()
于 2016-12-21T15:53:47.330 回答
2

xarray是我为这类事情选择的工具:

import xarray as xr

# Open the netCDF file
ds = xr.open_dataset('./myfile.nc')

# Take the diff along the time dimension
ds['new_variable'] = ds['variable'].diff(dim='time')

# Write a new file
ds.to_netcdf('outfile.nc')
于 2016-12-23T03:51:44.993 回答
2

如果你想使用cdo,不需要所有这些循环和编写大量文件,只需使用函数deltat

cdo deltat in.nc diff.nc 

与 python 解决方案一样,这将比您使用的循环快几个数量级,并且具有作为命令行单行器的优势。

或者,不那么简洁,如果你知道长度,你可以区分这两个系列(我展示了这一点,因为这种技术在其他情况下很有用):

# calculate number of steps in the file:
nstep=$(cdo -s ntime in.nc)

# do difference between steps 2:n and steps 1:(n-1)
cdo sub -seltimestep,2/$nstep in.nc -seltimestep,1/`expr $nstep - 1` in.nc diff.nc

关于累积字段的后记! 请注意,上述解决方案和此页面上发布的两个 python 解决方案都会产生一个比输入少一个时间步的输出,即他们扔掉第一个时间步。在某些情况下,例如,如果您有一个在预测中累积的模型通量场,似乎是这种情况,您不想丢弃第一个时间步长(因为这是从预测开始时从零到第一步)。在这种情况下,您可以提取第一步并将其插入文件的“前面”,如下所示:

cdo mergetime -seltimestep,1 in.nc diff.nc diff_with_step1.nc 

您还应该确保对 python 解决方案也这样做。

您可以将整个事情作为一个单线器进行管道传输(有时管道可能会导致总线错误或段错误,这些通常可以使用“-L”选项来纠正以强制执行顺序操作)。

cdo mergetime -seltimestep,1 in.nc -deltat in.nc diff_with_step1.nc

如果您遇到段错误,请尝试此操作

cdo -L mergetime -seltimestep,1 in.nc -deltat in.nc diff_with_step1.nc

如果您有打包数据(即类型 NC_SHORT),这是为了防止舍入和准确性问题:

cdo -L -b f32 mergetime -seltimestep,1 in.nc -deltat in.nc diff_with_step1.nc
于 2020-01-14T16:13:57.373 回答