0

所以我在一个运行 python 脚本的 win 工作站上,用于 GIS 处理非常大的 .tif 文件。有一个 linux 服务器,我想使用它的处理能力。我已经 ssh 进入服务器 (netmiko) 并设置了 pathos 多处理以在节点上运行。在小型项目上效果很好。当我扩大它时,它由于工作站上的内存分配而崩溃。

我意识到工作站正试图将所有内容加载到内存中。

我已经在 ubuntu 服务器中映射了工作 tif 文件目录。

如何在python中调用和存储相对于服务器的文件路径,绕过工作站文件目录,并调用相对于工作节点的对象?

目前正在使用 RabbitMQ 研究 celery

4

1 回答 1

0

好吧,我与我的网络人员交谈,他们为我构建了一个集群,可以直接从中进行编码,woot woot。我认为 gRPC 也可以处理这个问题。

于 2021-01-22T14:31:29.237 回答