1

用于将大型数据文件拆分为许多较小文件(大约 100,000 个左右)的小型 python 脚本 - 基本上是地图平铺。

无论如何,在运行脚本很长一段时间(20 小时以上)后,它会死:

IOError: [Errno 2] No such file or directory: ......

现在这让我感到奇怪,因为在脚本运行之前没有文件存在 - 并且 f.close() 在每个文件都被写入后被调用,所以 FD 限制似乎并不负责......(以及大量磁盘空间)

另一个奇怪的事情是,当脚本死亡时,它已经创建/写入的所有文件(大约 55,000 个)与包含目录一起被删除。

我使用多处理模块为每个 CPU 内核创建一个进程,并且所有 4 个在死亡时都吐出相同的消息 - 但在他们正在处理的数据部分中有一个文件(也许这是相关的?)

我希望可以解决这个问题,但我只是好奇为什么会发生这种情况?

编辑:有关更多上下文,脚本将 GSHHS 地理数据拆分为小“图块”。现在,我已经成功地将数据库的较低分辨率部分执行到包含地球较大区域的文件中 - 在尝试将高分辨率数据拆分为 1x1° 瓷砖时它崩溃了

4

0 回答 0