问题标签 [pyhdf]

我是 apache spark 的新手，不知道我是误解了 reduceByKey 还是遇到了错误。由于 spark-1.4.1-bin-hadoop2 中的 python Cassandra 接口存在问题，我正在使用 spark-1.4.1-bin-hadoop1 构建。

reduceByKey(lambda x,y: y[0]) 返回最后一个元组的第一个值，但 reduceByKey(lambda x,y: x[0]) 抛出异常。

试图通过 reduceByKey(lambda x,y: x[0]+y[0]) 来对键值求和，但该语句会引发与 x[0] 相同的异常。

代码片段：

输出：

我的程序可能需要长达四个小时来运行我试图读取的所有卫星数据。当我读取一整年的数据并且只保存几个区域的数据时，我已经确保代码可以正常工作。但是，当我尝试用多年的数据运行我的函数时，它最终会在循环结束时杀死 iPython 内核，说“内核已经死了。请重新启动内核”。这是我的函数 (MODIS)，它调用了 2 个较小的函数，在该函数下方，程序不断死去：

我运行的数据量是每年 15-20 GB 的数据（总共 7 年）。我的程序是否因为无法处理程序所需的计算量和 RAM 而崩溃？很高兴知道为什么控制台会在我的程序例程的中间/结束时崩溃。

我有 hdf 格式的时间序列数据。我使用下面的代码从 hdf 文件中读取数据。现在，我尝试根据经纬度加入具有相同 jdn（儒略日数）的数据。具有相同儒略日数的数据代表连续的空间数据

我的数据附在此链接中：https ://drive.google.com/folderview?id=0B2rkXkOkG7ExX2lTTWEySU1fOWc&usp=sharing

我有 MODIS 大气产品。我使用下面的代码来读取数据。

问题是，在某些日子里，有 3 个数据集（在这种情况下，有些日子有四个数据集），所以我不能使用 hstack 或 vstack 来合并这些数据集。

我的意图是从三个不同的数据数组中获取单个数组。

我还附上了这个链接的数据文件：https ://drive.google.com/open?id=0B2rkXkOkG7ExYW9RNERaZU5lam8

您的帮助将不胜感激。

我想pyhdf在 ubuntu 上安装以读取 python 中的 hdf4 文件，我从https://sourceforge.net/projects/pysclint/files/pyhdf/下载，pyhdf-0.8.3.tar.gz但是当我python setup.py install在 ubuntu 上运行时，它显示

如何解决？

对于某个纬度和经度，我有一些帐户要做，但在 MODIS 中，我既没有纬度也没有经度。我在互联网上漫游以创建纬度和经度，然后计算我的工作需要什么。有人告诉我，做这种事情的最佳程序是 python，我正在使用 python3。

我下载了这个网站上的数据（https://lpdaac.usgs.gov/dataset_discovery/modis/modis_products_table/mod09a1），更具体地说是这个（https://e4ftl01.cr.usgs.gov/MOLT/MOD09A1.005/ 2017.03.22/MOD09A1.A2017081.h13v12.005.2017090201940.hdf )，需要账号。

更新！

是的，我能够创建一个纬度数组和另一个经度数组，但我无法加入数据来获得我感兴趣的像素的纬度和经度。

更新！

我正在尝试下载一个 hdf 文件并读取它 python 如下

它可以工作，但在我收到以下错误后不久：

我有一个 hdf 文件，想从中提取数据。由于某种原因，我无法提取纬度和经度值：

我尝试的代码是：

它给了我一个错误：

我试过：

仍然没有帮助！

数据可以在这个链接中找到

任何帮助将不胜感激！

数据格式如下：

我得到的错误是：

我正在使用Windows 10和运行Jupyter Notebook(in Chrome) 中的代码。

这是我的代码：

我收到以下错误：

你知道这个问题的任何解决方案吗？

我试过!pip install pyhdf了，也提到了这个。http://stream.princeton.edu/AWCM/LIBRARIES/pyhdf-0.8.3/doc/webpage/source/install.html 不走运。请帮忙。