我有很多简单的可并行计算和很多（100 多个）核心分布在 SSH + NFS 网络上。什么是最简单的并行化方法。问题是我不知道每个任务需要多长时间，所以我需要某种队列。有没有非常好用的东西？
问问题
150 次
3 回答
1
Mincemeat.py是 MapReduce 的轻量级 Python 实现，专为此目的而设计。没有一种简单的方法可以启动所有进程（除非您在集群上有 Condor 之类的东西），但除此之外它应该满足您的需求。
于 2010-10-25T23:13:04.973 回答
1
你也可以看看 mpssh 和 autossh。
http://www.mynitor.com/2010/08/16/top-50-ssh-helper-tools-omg/
于 2010-10-26T11:57:16.473 回答
1
我有很多简单的可并行计算和很多（100 多个）核心分布在 SSH + NFS 网络上。什么是最简单的并行化方法。问题是我不知道每个任务需要多长时间，所以我需要某种队列。有没有非常好用的东西？
我回答晚了，但我进行了类似的搜索。我已经使用了一段时间，我非常确信这orgalorg就是答案。
支持 Linux 和 macOS。
下面的例子...
于 2020-10-14T15:45:33.167 回答