我想使用 xarray 打开一个 netCDF4 数据集。
我有两个例子。时间序列中超过 300 万个点的大文件 (3.2GB)。时间序列中有 9999 个点的小文件 (9.8 MB)。此代码将打开小文件。
ds = xr.open_dataset(smallfile, chunks={'rec': 3600}, decode_times=False)
如果我使用大文件，我会收到未知错误。该行为在安装了 miniconda 的两台不同的 Windows 机器上是一致的。
这里发生了什么？我还应该检查什么？
提前致谢。
xarray 和 netCDF4-Python 都没有文件大小限制。它们已成功用于 10-100GB 范围内的文件。
您的问题看起来类似于 netCDF4-Python 问题中报告的问题，用于在 Windows 上使用 Python 3 读取大文件：https ://github.com/Unidata/netcdf4-python/issues/535
更广泛地说，您可能会遇到netCDF 文件格式本身的限制。xarray 通过 netCDF4-Python 和 h5netcdf 支持的版本 4 基于 HDF5，没有文件大小限制。xarray 通过 netCDF4-Python 和 scipy 支持的版本 3 具有 2GB 的文件大小限制，除非使用“64 位偏移”版本（即便如此，每个变量的限制仍然小于 4GB）。