简介
我正在将一些在普通笔记本电脑上运行的代码移植到带有 MPI 的集群 (HPC)。
我正在处理的是一个令人尴尬的并行问题，我将不同的文件路径发送给一群工作人员。每个对应的文件都包含一个先前使用joblib.dump()函数 with生成的 numpy 数组lzma compression=2。
详细信息
所有文件都保存在同一目录
中 文件列表生成示例joblib.dump()：
- File1.lzma
- File1.lzma_01.npy.z
- File2.lzma
- File2.lzma_01.npy.z
如果我将工作人员上带有 .lmza 扩展名（例如 File1.lzma）的文件的路径传递给工作joblib.load()人员，则无法加载该文件并给我一个错误。如果我用 .lzma_01.npy.z 传递文件也是一样的。我的猜测是因为这两个文件都需要，并且在 HPC 的情况下，文件位于同一目录中是不够的（在我的笔记本电脑上运行的代码就足够了，并且文件已正确加载）
问题
1) 我的假设正确吗？
2）有没有办法将两个文件路径都传递给joblib.load()？
3）这是缺少的功能，我应该重新处理文件并用泡菜保存它们吗？
4）我完全错了吗？
谢谢