python - celery 从不同的计算机读取文件

Question

我有一个程序输出文件。我使用 celery 用两台并行计算机输出文件，因此输出文件将分布在两台计算机上。如何编写程序从这两台计算机读取文件？

Answer 1

这个问题缺乏细节。

我想您需要分布式文件系统，您的两台计算机都可以使用它。有很多解决方案：MongoDB 中的 GridFS，Hadoop 中的 HDFS。您还可以尝试更简单的解决方案，例如 SSHFS。在这种情况下，您的一台服务器将连接到其他服务器的文件系统。rsync如果您不担心一致性，可以克隆远程目录。