7

使用 xarray open_dataset 或 open_mfdataset 加载 NARR netcdf 数据集（例如ftp://ftp.cdc.noaa.gov/Datasets/NARR/monolevel/air.2m.2010.nc）时，xarray 返回有关“冲突 _FillValue 和缺失值”。

输入：

ds = xarray.open_dataset('air.2m.2010.nc')

产生此错误：

ValueError: ('Discovered conflicting _FillValue and missing_value. Considering opening the offending dataset using decode_cf=False, corrected the attributes', 'and decoding explicitly using xray.conventions.decode_cf(ds)')

使用建议打开时：

ds = xarray.open_dataset('air.2m.2010.nc',decode_cf=False),

数据集已打开，但变量、时间、坐标等未解码（显然）。由于遇到相同的错误，使用xarray.decode_cf(ds)显式似乎无助于成功解码数据集。

我相信这个错误的出现是因为 NARR 数据集是一个 Lambert Conformal 并且由于网格的形状而存在一些缺失值，因为它是由 xarray 打开的，并且由于某种原因，这与填充值冲突。

在 xarray 中打开和解码此文件的最佳方法是什么？

注意我已经能够使用 netcdf4-python 打开和解码，但希望能够在 xarray 中执行此操作，以利用 dask 提供的核心计算功能。

4

2 回答 2

4

此问题已在更新的 xarray 版本中得到修复。使用 0.12 版，我得到以下信息

>>> ds = xr.open_dataset('air.2m.2010.nc')
.../conventions.py:394: SerializationWarning: variable 'air' has multiple fill values {9.96921e+36, -9.96921e+36}, decoding all values to NaN.

换句话说，它会引发警告，但不会引发错误，并成功地将掩码应用于两个缺失值。

因此，您可以通过升级到更新版本的 xarray 来解决您的问题。

于 2019-03-20T14:55:34.640 回答
3

我能够解决来自相同源和 xarray 的 NARR 数据的类似问题，但仅限于时间变量。我对其他变量没有问题。

我确信有更简单的方法可以做到这一点（我对 python + xarray 还是很陌生），但我最终从我感兴趣的数据集中获取时间变量和值，创建了一个新数据集和'解码'时间，然后更新我感兴趣的原始数据集中的时间变量和值。

test = xr.open_mfdataset(r'evap*nc',decode_cf=False)

t_unit = test.variables['time'] 
t_unit.attrs['units']
#u'hours since 1800-1-1 00:00:0.0'

attrs = {'units': 'hours since 1800-01-01'}
ds = xr.Dataset({'time': ('time', t_unit, attrs)})
ds = xr.decode_cf(ds)

test.update({'time':('time', ds['time'])})

如果您找到更简单的方法，请告诉我！我目前从其他来源使用的研究数据集没有这个问题，但很好奇其他人如何使用 ESRL NARR 数据解决这个问题。

于 2017-08-02T19:55:50.217 回答