我一直在尝试将用 laspy 读取的点云的点列表附加到另一个点列表中,基本上是合并两个点云。合并多个点云时,我一直将所有点附加到同一个 np.ndarray 以便将其保存回一个 laspy 文件。现在,只要我要合并的所有点云的总大小超过 350 MB,我就会得到一个MemoryError
.
我尝试使用不同的方法来编写点云文件,这样我就不必一次将所有点读入内存,但是失败了,因为 laspy 在编写点云文件时真的很奇怪,这里是我发现了一些事情:
laspy.File.points
具有以下格式:
array([((24315, 12245, 12080, 0, 24, 0, 0, 0, 202, 23205, 24735, 21930),),
...,
((15155, -23292, -6913, 0, 56, 0, 0, 0, 343, 36975, 37230, 37485),)],
dtype=[('point', [('X', '<i4'), ('Y', '<i4'), ('Z', '<i4'), ('intensity', '<u2'), ('flag_byte', 'u1'), ('raw_classification', 'u1'), ('scan_angle_rank', 'i1'), ('user_data', 'u1'), ('pt_src_id', '<u2'), ('red', '<u2'), ('green', '<u2'), ('blue', '<u2')])])
- 的变量类型
laspy.File.points
是numpy.ndarray
- 的形状
laspy.File.points
是(<numberOfRows>,)
=> 一维数组,即使它每行有 12 个值(?) - 行具有类型
numpy.void
- 为了编写一个
laspy.File
您需要在写入模式下创建一个新文件,从现有文件复制标题并将 File.points 设置为与上述类型完全相同的 numpy 数组。设置点一次后,不能再设置,也就是说设置点时需要知道最终的行数。 - 您可以使用
laspy.File.set_x(<arrayOfXValues>)
(和类似方法)更改行的值,长度必须与laspy.File.points
现在我的电脑有 16 GB RAM,当我开始合并时,其中大约 10 GB 是空闲的。使用psutils
我得到我的已用和可用内存,而且我永远不会低于 9 GB 的可用内存。使用psutil.Process(os.getpid()).memory_info().rss
我得到这个进程的已用内存,它永远不会超过 650 MB。
合并时,我读取第一个文件,然后遍历其他文件,逐个读取它们并调用numpy.append(combinedPoints, otherPointcloudPoints)
将所有点堆叠在一起。然而,MemoryError
当上面列出的条件为真时,这会抛出一个 。
这是将多个点云合并到一个新点云的代码(这一切都发生在一个类PointCloudFileIO
中,self.file
是一个实例laspy.File
)。util.inMB
计算从字节到兆字节的大小。
def mergePointClouds(self, listPaths, newPath):
realSize = util.inMB(psutil.Process(os.getpid()).memory_info().rss)
print("Process Memory used at start: {:.2f}MB".format(realSize))
print("Available memory at start: {:.2f}MB".format(util.inMB(psutil.virtual_memory().available)))
pointsOwn = self.file.points
firstOtherReader = PointCloudFileIO(listPaths[0])
pointsCombined = np.append(pointsOwn, firstOtherReader.file.points)
realSize = util.inMB(psutil.Process(os.getpid()).memory_info().rss)
print("Process Memory used after first merge: {:.2f}MB".format(realSize))
print("Available memory after first merge: {:.2f}MB".format(util.inMB(psutil.virtual_memory().available)))
for i in range(1, len(listPaths)):
otherReader = PointCloudFileIO(listPaths[i])
otherPoints = otherReader.file.points
pointsCombined = np.append(pointsCombined, otherPoints)
realSize = util.inMB(psutil.Process(os.getpid()).memory_info().rss)
print("Process Memory used in loop: {:.2f}MB".format(realSize))
print("Available memory in loop: {:.2f}MB | Used: {:.2f}MB | Percent: {}%".format(util.inMB(psutil.virtual_memory().available), util.inMB(psutil.virtual_memory().used), psutil.virtual_memory().percent))
outFile = File(newPath, mode='w', header=self.file.header)
outFile.points = pointsCombined
outFile.close()
对于我拥有的几乎所有用例,这都很好。它将所有提供的点云合并到新文件中的新点云中。然而,当生成的点云有点太大时,尽管内存比需要的多,我得到一个MemoryError
.
这是我使用这些点云启动程序时的日志(下载 .laz 文件),您需要先使用 laszip 解压缩 .laz 文件,然后它们才能与 laspy 一起使用(至少在使用 Windows 时):
Process Memory used at start: 21.18MB
Available memory at start: 9793.35MB | Used: 6549.50MB | Percent: 40.1%
Process Memory used after first merge: 381.63MB
Available memory after first merge: 9497.64MB | Used: 6845.20MB | Percent: 41.9%
Process Memory used in loop: 559.52MB
Available memory in loop: 9309.36MB | Used: 7033.48MB | Percent: 43.0%
Process Memory used in loop: 637.05MB
Available memory in loop: 9301.00MB | Used: 7041.85MB | Percent: 43.1%
Traceback (most recent call last):
File "optimization_test.py", line 7, in <module>
f1.mergePointClouds(paths, "someShiet.las")
File "C:\Users\viddie\Desktop\git\GeoLeo\geoleo\pointcloud.py", line 175, in mergePointClouds
pointsCombined = np.append(pointsCombined, otherPoints)
File "C:\Users\viddie\AppData\Local\Programs\Python\Python36-32\lib\site-packages\numpy\lib\function_base.py", line 5166, in append
return concatenate((arr, values), axis=axis)
MemoryError
如果有人知道造成这种情况的原因,我们将不胜感激。