云存储桶上的可用天气数据越来越丰富。惊人的！但是，它们不是以云优化格式存储的。我想知道是否有办法只从存储在 AWS 上的 grib2 文件中提取元数据，然后只从这些文件中提取单点。netcdf4 同样的问题。我知道 Netcdf4 支持库允许您对磁盘上的文件执行此操作，但我不知道如何在云上执行此操作。
为了探索这一点，我不知道应该研究哪些资源。任何帮助将非常感激。
问问题
103 次
1 回答
1
您可以即时解析 GRIB2 文件并立即删除不需要的所有内容。每个 GRIB2 文件包含一个或多个 GRIB2 消息，其结构如下：
- 第 0 部分：指标部分
- 第 1 部分：识别部分
- 第 2 部分：本地使用部分（可选）
- 第 3 部分：网格定义部分（可重复）
- 第 4 部分：产品定义部分（可重复）
- 第 5 部分：数据表示部分（可重复）
- 第 6 节：位图节（可重复）
- 第 7 节：数据节（可重复）
- 第 8 部分：结束部分
第 0 节在 GRIB2 中总是 16 字节，第 8 节总是有 4 字节。其余部分始终以length部分（4 个字节）和section number（1 个字节）开头。因此，快速跳过不需要的所有部分应该很容易。然后，您可以只阅读第 1、3 或 5 节，具体取决于您想要的元数据。
然而有一个缺点。如果我理解正确，您想在在线资源上执行此操作。在这种情况下，您将下载整个文件，同时跳过部分或大部分部分。
如果您正在尝试建立某种可用 GRIB 数据的索引，这可能是一种选择。一种 GRIB 爬虫。
请注意，GRIB1 的结构有点不同
有关 GRIB2 部分的更多详细信息：https ://www.nco.ncep.noaa.gov/pmb/docs/grib2/grib2_doc/
于 2021-03-11T22:29:16.730 回答