问题标签 [thredds]

我正在尝试从 THREDDS 服务器加载 netcdf，但在某个时间步后遇到无法识别的错误。

这些数据的加载一直很顺利，直到 3 月 22 日，这是失败的日期。我尝试过更改月份和年份，每次脚本在第 22 个时间步失败时。我将在下面提供两个错误代码。任何有关这里发生的事情的信息将不胜感激。作为参考，我正在运行最新版本的 python 和 netCDF4，以及 xarray。

错误：

错误一：KeyError: [<class 'netCDF4._netCDF4.Dataset'>, ('https://www.ncei.noaa.gov/thredds/dodsC/OisstBase/NetCDF/V2.0/AVHRR/201703/avhrr-only-v2.20170322.nc',), 'r', (('clobber', True), ('diskless', False), ('format', 'NETCDF4'), ('persist', False))]

错误2：OSError: [Errno -37] NetCDF: Write to read only: b'https://www.ncei.noaa.gov/thredds/dodsC/OisstBase/NetCDF/V2.0/AVHRR/201703/avhrr-only-v2.20170322.nc'

有大约 150 个链接服务器，我必须在每个链接服务器中运行一个查询。我必须尽可能快地运行它。

我今天的做法：

问题是 TI 的人仍然希望我们减少联系。如果我们减少池的数量（例如，从 20 减少到 10），我们会损失很多性能。

我想知道是否有一种方法可以使用一个连接并行运行这些查询？或者如果您有其他建议？

我正在尝试下载和子集位于此处的文件：https ://www.ncei.noaa.gov/thredds-ocean/catalog/ncei/archive/data/0129374/daily/catalog.html ，但我不确定如果我做错了什么或者链接有问题。这是我第一次从该服务下载数据，所以我无法准确判断。

如果我将鼠标悬停在我看到的第一个文件的链接上：https ://www.ncei.noaa.gov/thredds-ocean/catalog/ncei/archive/data/0129374/daily/catalog.html?dataset=ncei/archive /data/0129374/daily/livneh_NAmerExt_15Oct2014.195001.nc

我尝试使用 pydap 打开此网址：

但我得到了错误：

webob.exc.HTTPError: 404 未找到

如果我使用 netCDF4 库，我会得到一个不同的错误：

这给了我：

OSError：[Errno -75] NetCDF：格式错误或意外约束：b'https://www.ncei.noaa.gov/thredds-ocean/catalog/ncei/archive/data/0129374/daily/catalog.html?dataset= ncei/archive/data/0129374/daily/livneh_NAmerExt_15Oct2014.195001.nc'

链接有可能有问题吗？如何下载和子集这些数据？

我正在尝试为靠近挪威 sauda 的 lwe_percipitation_rate 创建一个小子集，我目前正在努力使用 OPeNDAP 中的坐标系。

这是目前我正在使用的两个替代方案，这是我感兴趣的区域： 红色方块标记了感兴趣的区域，靠近指定的坐标

在一个闪亮的应用程序中，我希望用户能够下载文件大小限制为 100MB 的远程 (.nc) 文件。

对于检查标头的某些文件效果很好，如此处建议的https://stackoverflow.com/a/20921907/6424231例如

但是对于 THREDDS 服务器上的 .nc 文件，该Content-Length属性不可用，例如

所以在下载之前我不知道这个文件的大小。

有没有一种方法可以让我download.file()开始但如果下载达到 100MB 并且下载尚未完成则中止下载？我知道也有可用的超时选项，httr但理想情况下，我希望限制基于文件大小，因为我不希望阻止连接速度较慢的用户下载相对较小的文件。

这在 R 中是否可行，或者是否有任何其他方法可以实现这一点以避免用户下载任意大的文件？

I am looking for a way in R to extract netcdf files from a Thredds server using OpenDAP. When I type in a full path/filename to a file in open.nc() and read.nc() from the RNetCDF package I can access the file content, but how can I get a list of all available files/URLs on the server? In python there's apparently a function called "threddsclient.opendap_urls"() that do this, but I haven't found a similar function in R. Is there a way to do this?

我很好奇是否有一种方法可以使用自定义多边形而不是矩形纬度长框来查询 thredds 服务器中的 NDFD 或其他层？谢谢！

- 克里斯

我们在 Tomcat 7.0.76 下运行 THREDDS 数据服务器，并试图确定我们正在运行的 TDS 版本。我们在 catalina.out 或配置中任何明显的地方都没有看到它，并且想知道是否可以在命令行中查询该版本。