2

我有很多作业要运行，比如说 100 个。它们可以并行运行，但每个都占用大量内存，所以我只能同时运行 8 个。

我目前有这个shell脚本：

(
(python run.py $arg1 &)
(python run.py $arg2 &)
(python run.py $arg3 &)
(python run.py $arg4 &)
(python run.py $arg5 &)
(python run.py $arg6 &)
(python run.py $arg7 &)
(python run.py $arg8 &)
) 2>&1 | cat -u

(
(python run.py $arg9 &)
(python run.py $arg10 &)
(python run.py $arg11 &)
(python run.py $arg12 &)
(python run.py $arg13 &)
(python run.py $arg14 &)
(python run.py $arg15 &)
(python run.py $arg16 &)
) 2>&1 | cat -u

...

这有运行第一批8个的效果，当它们都完成后，它开始下一批8个。问题是每个作业的运行时间不是恒定的，有些比其他作业先完成，所以它是对于每批 8 个要完成的重量来说，这并不是最佳的，因为我实际上正在等待 8 个中最慢的一个完成。

相反，我想要一个脚本（shell 或 python）来运行我所有的 100 个作业，在任何给定时间并行运行 8 个作业，以实现最佳效率。

关于实现这一目标的任何想法？

4

4 回答 4

5

您可以编写自己的小型调度程序，将它们分配给已完成当前分配的处理器；但在我们的中心，我们强烈建议使用gnu parallel，它已经使用类似 xargs 的语法实现了这一点。

因此，例如，如上所述，您可以这样做

parallel --max-procs 8 <<EOF
  python run.py $arg1 
  python run.py $arg2 
  python run.py $arg3
  ..
EOF

或者，如果您在文件中有参数列表，则可以执行类似的操作

cat args.list | parallel --max-procs 8 python run.py
于 2012-11-10T19:41:31.070 回答
4

根据您的需要，您可以使用许多工具。最简单的可能是使用GNU parallel. make可以与其-j开关并行运行任务。如果您尝试运行的任务更加复杂和多样化，那么真正的排队系统可能会有所帮助，例如Dr. Queue。还有更多工具，GNU parallel 的手册页很好地列出了它们。

于 2012-11-10T19:38:10.930 回答
3

在我看来，您正在寻找multiprocessing模块，特别是multiprocessing.Pool.

如果我这样做，我会将所有不同的参数集提供给 run.py，将您现在在 run.py 中所做的顶级操作包装在一个main(args)函数中，然后使用 Pool 的 map 方法在所有不同的参数集。

它可能看起来像这样：

import multiprocessing

def main(args):
  # Here's where you would do what you usually do with the arguments

pool = multiprocessing.Pool(processes=8)
pool.map(main, sys.argv[1:], chunksize=1)
pool.close()
pool.join()

请注意，这假设每次运行的参数都可以保存在一个字符串中（因此是 的一个条目sys.argv）。

于 2012-11-10T19:54:36.820 回答
0

为什么不使用 DataStage 自己的 Workload Management？定义 M 个队列并将您的 N 个作业循环分配到这些队列上。

于 2020-12-29T10:35:35.843 回答