1

_FillValue 或 missing_value 是否仍然占用存储空间？

如果有一个包含一些空值的 2-dimission 数组，我如何将它写入 netcdf 文件以节省存储空间？

4

3 回答 3

3

在 netCDF3 中，每个值都需要相同数量的磁盘空间。在 netCDF4 中，可以使用 gzip 压缩来减少所需的磁盘空间。实际压缩率取决于数据。如果有很多相同的值（例如缺失数据），您可以获得很好的结果。这是python中的一个例子：

import netCDF4
import numpy as np
import os

# Define sample data with all elements masked out
N = 1000
data = np.ma.masked_all((N, N))

# Write data to netCDF file using different data formats
for fmt in ('NETCDF3_CLASSIC', 'NETCDF4'):
    fname = 'test.nc'
    ds = netCDF4.Dataset(fname, format=fmt, mode='w')
    xdim = ds.createDimension(dimname='x', size=N)
    ydim = ds.createDimension(dimname='y', size=N)
    var = ds.createVariable(
        varname='data',
        dimensions=(ydim.name, xdim.name),
        fill_value=-999,
        datatype='f4',
        complevel=9,  # set gzip compression level
        zlib=True  # enable compression
    )
    var[:] = data
    ds.close()

    # Determine file size
    print fmt, os.stat(fname).st_size

有关详细信息，请参阅netCDF4-python 文档，第 9 节）“netCDF 变量的高效压缩”。

于 2017-05-22T08:12:39.967 回答
2

只是为了添加来自 Funkensieper 的出色答案，您可以使用 cdo 从命令行复制和压缩文件：

 cdo -f nc4c -z zip_9 copy in.nc out.nc

可以简单地使用 gzip 或 zip 等压缩文件，但缺点是您需要在阅读之前解压缩。使用 netcdf4 压缩功能可以避免这种情况。

您可以使用 -z zip_X 选择您的 X 级压缩。如果您的文件非常大，您可能希望牺牲一点文件大小以换取更快的访问时间（例如，使用 zip_5 或 6，而不是 9）。在许多异构数据的情况下，压缩增益相对于未压缩文件来说很小。

于 2017-05-22T11:30:56.850 回答
2

或与NCO类似

ncks -7 -L 9 in.nc out.nc

于 2017-05-30T04:48:05.143 回答