所以我在一个运行 python 脚本的 win 工作站上,用于 GIS 处理非常大的 .tif 文件。有一个 linux 服务器,我想使用它的处理能力。我已经 ssh 进入服务器 (netmiko) 并设置了 pathos 多处理以在节点上运行。在小型项目上效果很好。当我扩大它时,它由于工作站上的内存分配而崩溃。
我意识到工作站正试图将所有内容加载到内存中。
我已经在 ubuntu 服务器中映射了工作 tif 文件目录。
如何在python中调用和存储相对于服务器的文件路径,绕过工作站文件目录,并调用相对于工作节点的对象?
目前正在使用 RabbitMQ 研究 celery