关于工作平衡的快速问题。
并行处理文件。可以说文件的大小是处理它需要多长时间的近似度量。所有文件都是事先知道的。
我们有 N 个可以处理文件的节点。如何分发这些文件,以便每个节点的工作量最接近平均水平。
想法很简单,我有几个想法,但它确实看起来像是一些经典问题,已经存在最佳解决方案。
我只是不知道它叫什么。
有人知道吗?
谢谢!
编辑:好的,对不起,我省略了很多信息。我正在研究 MPI 实施。标准主从系统。一个主节点检查目标目录,选择需要处理的文件,然后将文件分配给从属 MPI 任务,以便它们可以并行完成自己的工作。
从节点数量小于32。
目标文件数量小于10000。