1

我在一个网格上有一个大约 100 个时间步长的 netcdf 文件，其中一个变量是在时间步长上累积的。我现在有兴趣计算每个时间步对变量值的贡献（即连续时间步的差异）。

目前我使用以下顺序：

  1. 要将每个时间步提取到我使用的新文件cdo seltimestep,$i ...中，
  2. 计算每个差异到一个新文件中cdo sub $i ${i-1} ...
  3. 最后将这些新文件合并cdo mergetime ...到一个结果文件中。

在我看来，这对于性能来说非常繁琐且不理想。由于时间步长，我不能使用 cdo 管道，因此需要同时创建许多文件。

有没有一种更好的解决方案可以使用 cdo（或其他类似 nco/ncl 的东西）将累积变量转换为时间步长值？

4

3 回答 3

2

numpy 的 diff计算连续条目的差异。

我怀疑你的文件中有一个多维变量，所以这里有一个通用的例子来说明如何做到这一点：

import netCDF4
import numpy as np

ncfile = netCDF4.Dataset('./myfile.nc', 'r')
var = ncfile.variables['variable'][:,:,:] # [time x lat x lon]

# Differences with a step of 1 along the 'time' axis (0) 
var_diff = np.diff(var, n=1, axis=0) 
ncfile.close()

# Write out the new variable to a new file     
ntim, nlat, nlon = np.shape(var_diff)

ncfile_out = netCDF4.Dataset('./outfile.nc', 'w')
ncfile_out.createDimension('time', ntim)
ncfile_out.createDimension('lat', nlat)
ncfile_out.createDimension('lon', nlon)
var_out = ncfile_out.createVariable('variable', 'f4', ('time', 'lat', 'lon',))
var_out[:,:,:] = var_diff[:,:,:]
ncfile_out.close()
于 2016-12-21T15:53:47.330 回答
2

xarray是我为这类事情选择的工具：

import xarray as xr

# Open the netCDF file
ds = xr.open_dataset('./myfile.nc')

# Take the diff along the time dimension
ds['new_variable'] = ds['variable'].diff(dim='time')

# Write a new file
ds.to_netcdf('outfile.nc')
于 2016-12-23T03:51:44.993 回答
2

如果你想使用cdo，不需要所有这些循环和编写大量文件，只需使用函数deltat：

cdo deltat in.nc diff.nc

与 python 解决方案一样，这将比您使用的循环快几个数量级，并且具有作为命令行单行器的优势。

或者，不那么简洁，如果你知道长度，你可以区分这两个系列（我展示了这一点，因为这种技术在其他情况下很有用）：

# calculate number of steps in the file:
nstep=$(cdo -s ntime in.nc)

# do difference between steps 2:n and steps 1:(n-1)
cdo sub -seltimestep,2/$nstep in.nc -seltimestep,1/`expr $nstep - 1` in.nc diff.nc

关于累积字段的后记！ 请注意，上述解决方案和此页面上发布的两个 python 解决方案都会产生一个比输入少一个时间步的输出，即他们扔掉第一个时间步。在某些情况下，例如，如果您有一个在预测中累积的模型通量场，似乎是这种情况，您不想丢弃第一个时间步长（因为这是从预测开始时从零到第一步）。在这种情况下，您可以提取第一步并将其插入文件的“前面”，如下所示：

cdo mergetime -seltimestep,1 in.nc diff.nc diff_with_step1.nc

您还应该确保对 python 解决方案也这样做。

您可以将整个事情作为一个单线器进行管道传输（有时管道可能会导致总线错误或段错误，这些通常可以使用“-L”选项来纠正以强制执行顺序操作）。

cdo mergetime -seltimestep,1 in.nc -deltat in.nc diff_with_step1.nc

如果您遇到段错误，请尝试此操作

cdo -L mergetime -seltimestep,1 in.nc -deltat in.nc diff_with_step1.nc

如果您有打包数据（即类型 NC_SHORT），这是为了防止舍入和准确性问题：

cdo -L -b f32 mergetime -seltimestep,1 in.nc -deltat in.nc diff_with_step1.nc
于 2020-01-14T16:13:57.373 回答