4

我正在将 ax,y,z 点文件 (LAS) 读入 python 并遇到内存错误。我正在为我正在从事的项目的已知点之间插入未知点。我开始处理小文件（< 5,000,000 点），并且能够毫无问题地读取/写入 numpy 数组和 python 列表。我收到了更多要使用的数据（> 50,000,000 点），现在我的代码因 MemoryError 而失败。

处理如此大量的数据有哪些选择？我不必一次将所有数据加载到内存中，但我需要使用scipy kd-tree查看相邻点我在 64 位 Windows XP 操作系统上使用 Python 2.7 32 位。

提前致谢。

编辑：代码发布在下面。我取出了用于长计算和变量定义的代码。

from liblas import file
import numpy as np

f = file.File(las_file, mode='r')
num_points = int(f.__len__())
dt = [('x', 'f4'), ('y', 'f4'), ('z', 'f4'), ('i', 'u2'), ('c', 'u1'), ('t', 'datetime64[us]')]
xyzict = np.empty(shape=(num_points,), dtype = dt)
counter = 0
for p in f:
    newrow = (p.x, p.y, p.z, p.intensity, p.classification, p.time)
    xyzict[counter] = newrow    
    counter += 1

dropoutList = []
counter = 0
for i in np.nditer(xyzict):
    # code to define P1x, P1y, P1z, P1t
    if counter != 0:
        # code to calculate n, tDiff, and seconds 
        if n > 1 and n < scanN:
            # code to find v and vD
            for d in range(1, int(n-1)):
                # Code to interpolate x, y, z for points between P0 and P1
                # Append tuple of x, y, and z to dropoutList
                dropoutList.append(vD)
    # code to set x, y, z, t for next iteration
    counter += 1
4

2 回答 2

5

无论您的系统中有多少 RAM，如果您运行的是 32 位 python，您的应用程序的实际内存限制约为 2 GB。在 SO 上还有许多其他问题可以解决这个问题（例如，请参见此处）。由于您在 ndarray 中使用的结构是 23 个字节，并且您正在读取超过 50,000,000 个点，这已经使您大约 1 GB。您没有包含其余代码，因此不清楚程序的其他部分消耗了多少额外内存。

如果您的系统中有超过 2 GB 的 RAM，并且您将继续处理大型数据集，您应该安装 64 位 python 来绕过这个 ~ 2 GB 的限制。

于 2013-11-13T20:14:55.057 回答
2

将点保存在磁盘上的二进制文件中，然后使用numpy.memmap这会慢一些，但可能不会受到伤害（取决于算法）。

或者试试 64 位版本的 Python；您可能需要超过 2GB 的数据。

最后，检查您的代码如何处理数据。有了这么多元素，您不应该尝试复制/克隆数组。改用视图。

如果一切都失败了，请尝试 64 位版本的 Linux（因为您不会免费获得 64 位 Windows）。

于 2013-11-13T17:20:29.233 回答