python - 在 zip 文件上分发大量文件的最佳方法

Question

我在分布式计算方面没有太多经验，但我想在 python 中创建一个脚本来将解压缩作业集中分发到 x 台服务器，从而使我免于经常登录多个服务器并在文件共享上分发解压缩作业的麻烦。

什么是此类任务的最佳工具，我想在未来使用 hadoop，但我知道的不够多，我认为这可能不是这项工作的正确工具。我看过一些类似的帖子暗示 zeromq。只是在寻找什么工具最适合这样的工作的建议。

Answer 1

当您解压缩文件时，I/O 限制通常会成为问题，而不是 CPU。因此，登录到多个服务器以解压缩同一共享上的文件只会插入托管该共享的（文件）服务器的网络连接。

另一方面，如果您尝试在不同的服务器上解压缩相同的文件，则根本不需要 python。查看pssh命令及其亲属。