问题标签 [common-data-format]

我正在收集大量数据，这些数据很可能是以下格式：

用户 1: (a,o,x,y,z,t,h,u)

所有变量都随时间动态变化，除了 u - 它用于存储用户名。由于我在“大数据”方面的背景不是很丰富，我想了解的是，当我最终得到我的数组时，它会非常大，比如 108000 x 3500，因为我将在每个时间步上进行分析，并绘制它，什么是合适的数据库来管理它是我试图确定的。因为这是为了科学研究，所以我正在研究 CDF 和 HDF5，根据我在这里读到的NASA，我想我会想要使用 CDF。但这是管理此类数据以提高速度和效率的正确方法吗？

最终的数据集将所有用户作为列，并且行将被加上时间戳，因此我的分析程序将逐行读取以解释数据。并输入数据集。也许我应该看看 CouchDB 和 RDBMS 之类的东西，我只是不知道从哪里开始。建议将不胜感激。

我正在考虑开始使用 R 进行一些数据分析。我以前从未使用过 R（或者像 HDF、CDF 等花哨的数据格式）。现在可从 NASA 网站获得的数据是 ASCII 或 CDF（通用数据格式）。我正在考虑使用 CDF，但我无法找到在 R 中读取 CDF 文件的方法。我知道 HDF5 可以读入 R，但使用 CDF 没有任何成功。

戈达德太空飞行中心的 CDF 页面提供了一些数据转换工具，但遗憾的是没有将 CDF 转换为 HDF5 的工具。http://cdf.gsfc.nasa.gov/html/dttools.html

关于如何去做的任何指示都会非常有帮助。

谢谢！

我需要使用 python 读取 CDF 文件。我找到了库，但我不明白如何使用它。例如在这个（Python lib），我需要下载CDF lib，我不知道在哪里下载。CDF 有下载页面，但似乎与该库无关。

我正在尝试在 Windows 10 的 Anaconda 命令提示符中使用 easy_install cdf 在 Python 中安装 CDF（通用数据格式）。

我收到错误消息：

当我尝试使用python setup.py install命令安装时，我得到了同样的错误。

任何帮助深表感谢。

我无法使用 Matlabcdfread函数读取“.cdf”文件。我也试过netcdf文件'mvn_lpw_l2_lpnt_20180814_v03_r02.cdf'可在此处获得：

CDF 文件

我正在使用 Matlab R2015a（8.5 版）。

请提供任何帮助。