我正在尝试将 dask 数组写入 netcdf 文件,但出现内存错误,我觉得这有点奇怪,因为 dask 数组的大小不是太大。大约为 0.04 GB。它的尺寸如下:
<xarray.Dataset>
Dimensions: (latitude: 2000, longitude: 5143)
Coordinates:
* latitude (latitude) float64 -29.98 -29.93 -29.88 -29.83 -29.78 -29.73 ...
* longitude (longitude) float64 -180.0 -179.9 -179.9 -179.8 -179.8 -179.7 ...
Data variables:Tmax (latitude, longitude) float32
**dask.array shape=(2000, 5143), chunksize=(2000, 5143)**
我也尝试过重新分块,但这也无济于事。如果您有任何提示,请告诉我。谢谢!
这是我如何生成要写入 netcdf 的 dask 数组。
DATA = xr.open_mfdataset(INFILE, concat_dim='Month', autoclose=True)
MONTH_MEAN = DATA.mean(dim='Month')
DIFF_MEAN = ((MONTH_MEAN.isel(time=np.arange(17, 34))).mean(dim='time') -
(MONTH_MEAN.isel(time=np.arange(17)))).mean(dim='time')
OUTFILE = OUTFILE_template.format(CHIRTS_INDIR, DATA_LIST[c])
DIFF_MEAN.to_netcdf(OUTFILE)
包含所有输入文件数据的原始 dask 数组的 DATA 维数为:
<xarray.Dataset>
Dimensions: (Month: 12, latitude: 2000, longitude: 5143, time: 34)
Coordinates:
* latitude (latitude) float64 -29.98 -29.93 -29.88 -29.83 -29.78 -29.73 ...
* longitude (longitude) float64 -180.0 -179.9 -179.9 -179.8 -179.8 -179.7 ...
* time (time) datetime64[ns] 1983-12-31 1984-12-31 1985-12-31 ...
Dimensions without coordinates: Month
Data variables:
Tmax (Month, time, latitude, longitude)
float32 dask.array<shape=(12, 34, 2000, 5143),
chunksize=(1, 34, 2000, 5143)>