问题标签 [netcdf]

我已经下载了一天的“高分辨率初始条件”气候预报数据，它的扩展名是 .tar.gz，所以我将它解压缩到我的本地目录中，我得到了附件图像中的文件。我认为，没有扩展名的文件是 GRIB 数据（因为其中的第一个单词是“GRIB”）。所以我想从大文件（GRIB 和 NetCDF 格式，包含气候数据，如网格中的温度和压力）中获取数据到我的数据库，但它们是二进制的。你能推荐我一些从这些文件中获取数据的简单方法吗？我无法在他们的网站上获得有关处理他们的数据集的任何信息。

将这些文件转换为 .csv 会很好，但我找不到转换 GRIB 文件的程序。

我想在 Ubuntu 中使用 R 包 RNetCDF 和 ncdf。

当我尝试install.packages('RNetCDF')orinstall.packages('ncdf')时，我收到类似的错误：

安装包libnetcdf6和netcdf-bin来自 Ubuntu 存储库。我需要做其他事情吗？

我目前正在启动一个名为“使用 Hadoop 进行时间序列挖掘算法的云计算”的项目。我拥有的数据是大小超过 TB 的 hdf 文件。在 hadoop 中，我知道我们应该将文本文件作为输入以进行进一步处理（map-reduce 任务）。所以我有一个选择，我将所有 .hdf 文件转换为文本文件，这将花费大量时间。

或者我找到了一种如何在 map reduce 程序中使用原始 hdf 文件的方法。到目前为止，我还没有成功找到任何读取 hdf 文件并从中提取数据的 java 代码。如果有人对如何使用 hdf 文件有更好的了解，我将非常感谢这样的帮助。

谢谢阿尤什

我正在尝试将 netCDF4 包与 python 一起使用。我想做一些我认为应该直截了当的事情，但我无法让它发挥作用，也找不到任何文档。我有一个列表，我只想将列表存储在 netCDF4.Variable 对象中。我认为这段代码会将“newlist”存储在 netCDF4.Variable 对象“x_data”中，它是 Dataset 对象“netdata”的一个组件：

但这不行。我收到错误消息：

顺便说一句，我已经导入了 netCDF4 和 numpy。另外顺便说一句，如果我在不将 newlist 转换为 numpy 数组的情况下执行此操作，也会遇到同样的错误。

当然有办法做到这一点。有谁知道怎么做？谢谢。

附录：这个简单的改变让我摆脱了错误信息：

但我还没有走出困境。数据肯定存储在 netdata.variables['x_data'] 中，但随后我关闭 netdata 并退出 python，并检查 netCDF 输出，但数据不存在。有任何想法吗？再次感谢。

我正在尝试将 netCDF4 包与 python 一起使用。我正在摄取近 2000 万条数据记录，每条 28 字节，然后我需要将数据写入 netCDF4 文件。昨天，我尝试一次完成所有操作，执行一个小时左右后，python 停止运行代码并显示非常有用的错误消息：

无论如何，对数据的子部分执行此操作，很明显在 2,560,000 条记录和 5,120,000 条记录之间的某个地方，代码没有足够的内存并且必须开始交换。当然，性能会大大降低。所以有两个问题：1）有人知道如何使这项工作更有效吗？我在想的一件事是以某种方式逐步放入数据的子部分，而不是一次全部完成。有谁知道该怎么做？2）我推测“Killed”消息是在内存最终耗尽时发生的，但我不知道。任何人都可以对此有所了解吗？

谢谢。

附录：netCDF4 提供了这个问题的答案，你可以在我给自己的问题的答案中看到。所以目前，我可以继续前进。但这里有另一个问题：netCDF4 的答案不适用于 netCDF3，而且 netCDF3 也不会消失。任何人都知道如何在netCDF3的框架中解决这个问题？再次感谢。

我将在 Windows 中使用 NetCDF，我认为它必须使用 MinGW 编译，因为我的主程序和所有其他库已经使用 MinGW 编译。

但是当我使用 MinGW（gcc 版本 4.6.2）时。我收到一些错误消息：

我不知道 libtool 中的问题是什么。但我确实认为 ar 命令需要更多输入。生成 libtool 脚本时可能有问题？

我在网上搜索，但找不到任何带有 fortran 和 f90 接口的 MinGW 版本的 NetCDF。请帮我一把。非常感谢。

我正在尝试处理来自非常大的 netCDF 文件（每个约 400 Gb）的数据。每个文件都有一些变量，它们都比系统内存大得多（例如 180 Gb 与 32 Gb RAM）。我正在尝试使用 numpy 和 netCDF4-python 通过一次复制一个切片并对该切片进行操作来对这些变量进行一些操作。不幸的是，读取每个切片需要很长时间，这会影响性能。

例如，其中一个变量是一个 shape 数组(500, 500, 450, 300)。我想对 slice 进行操作[:,:,0]，所以我执行以下操作：

但是最后一步需要很长时间（在我的系统上大约 5 分钟）。例如，如果我(500, 500, 300)在 netcdf 文件中保存了一个形状变量，那么相同大小的读取操作只需几秒钟。

有什么办法可以加快速度吗？一个明显的路径是转置数组，以便我选择的索引首先出现。但在如此大的文件中，这在内存中是不可能的，而且考虑到一个简单的操作已经花费了很长时间，尝试它似乎更慢。我想要的是一种以 Fortran 接口 get_vara 函数的方式读取 netcdf 文件片段的快速方法。或某种有效转置数组的方法。

我有一些 netCDF 文件，每个方向 ( x, y, z) 有 24 个，24 个具有不同时间的值。在最后一点，我必须绘制所有时间步的数据。

对于绘图，我需要在特定点进行插值，所以我必须知道最近的邻居。我的计划是将数据分成 3D 单元格，这样我就不必在整个数据集中搜索最近的邻居。

所以在我的第一步中，我读入了我的数据文件并创建了一个包含[x,y,z,v[:]]每个点的坐标和每次值的数组。

之后，我为每个点计算它所属的单元格，并将其附加到 4 维数组：x、y和：zv

vecs包含所有数据点的数组在哪里。到目前为止它正在工作，但我现在的问题在于VGridPoints：我有一长串值而不是数组列表。是否有将数组附加到数组元素的解决方案，以便我以后可以访问它，例如：

当我只采取一个时间步时，它正在工作，但是如果我为每个时间步重新计算单元格和最近的邻居并且它们不会随着时间的推移改变位置，我会有很大的过载。

我正在尝试从 necdf 文件中读取一些变量，但出现错误：

请提供任何帮助，最好的问候

我有一个 netcdf 文件，我想将土壤深度图可视化

似乎我必须将纬度与经度以及土地点连接起来才能获得土壤深度的地图。我真的很困惑。任何人都可以帮我处理这种数据。