0

假设我需要通过 HTTP 从远程主机下载大量小文件，并且我有一个要下载的 URL 列表。还假设远程主机只允许K连接到我的本地网络。我的本地网络有M计算机，我想在它们之间平均分配文件。我所有的电脑都运行Linux。现在我想知道如何组织下载。

现在我假设一台计算机足以处理所有K连接并将所有这些文件存储在其本地文件系统中。因此，我会分配一台计算机以将文件“下载”到以本地主机M命名的文件夹中。M本地主机将文件从这些文件夹复制（移动）到它们的文件系统。是否有意义 ？实现它的最简单方法是什么？

4

1 回答 1

1

您的方法很好，但假设所有文件大小相同并且所有计算机具有相同的性能。如果一台计算机完成了它的文件，而另一台计算机仍然完成了一半，会发生什么？在这种情况下，尽管您有可用的处理器，但它将处于空闲状态。但是要实现这一点，您将需要分布式计算，这将更加复杂，所以我会说，如果这是一次任务，或者如果总时间花费不大，那么您的方法应该没问题，否则您需要评估分布式方法。

于 2013-09-22T09:10:15.653 回答