1

前几天,我需要在我们的网络上存档大量数据,但我很沮丧,因为我无法立即利用多台机器的力量来加速这个过程。

我知道创建分布式作业管理系统是从命令行归档工具的飞跃。

我现在想知道这种分布式性能场景的最简单解决方案可能是什么。自定义工具是否始终是必需的,还是有办法使用标准实用程序并以某种方式在更高级别透明地分配它们的负载?

感谢您的任何建议。

4

1 回答 1

1

解决此问题的一种方法可能是使用分布式 make 系统跨网络硬件运行脚本。这是(或曾经是)GNU Make(某些实现)的实验性功能。Solaris 为相同目的实现了一个 dmake 实用程序。

另一种更重量级的方法可能是使用 Condor 来分配您的归档工作。但我认为你不会仅仅为了每年两次的归档运行而安装 Condor,它更像是一个用于定期从网络硬件中清除备用周期的系统。

SCons 构建系统实际上是基于 Python 的 make 替代品,可能会被说服通过网络移交工作。

再说一次,您可以使用脚本 ssh 在联网的 PC 上启动作业。

因此,您可以通过几种方法来解决这个问题,而无需进行并行编程,并享受其中带来的所有乐趣。

于 2010-04-16T14:30:31.617 回答