4

我有一个大型 C++ 项目，我需要在没有并行 make 的平台上构建它（比如 Linux 上的 make -j）。服务器有 6 个 CPU，我想手动进行并行构建。

我可以为大约 300 个目标文件生成这样的任务列表。我使用 Makefile 进行依赖检查和增量构建：

make -f Makefile obj1.o

make -f Makefile obj2.o

make -f Makefile obj3.o ...

在使用 Ksh 和 Perl 一次运行不超过 6 个任务的情况下，我将如何并行执行这些任务？（Java 或 Python 不可用 :-( ）

4

5 回答 5

5

在 Perl 中，您应该查看Parallel::ForkManager。你可以这样做：

my @make_obj = qw(
  obj1.o
  obj2.o
  obj3.o
  ...
);

my $fm = $pm = new Parallel::ForkManager(6);
foreach my $obj (@make_obj) {
  $fm->start and next;
  system("make -f Makefile $make_obj");
  $fm->finish();
}
于 2008-10-29T21:16:49.607 回答
4

分叉的另一种方法是在自己的线程中运行每个 make。

use threads;

my $max_threads = 5;

my @targets = qw(obj1.o obj2.o obj3.o ...);
while(@targets) {
    my $num_threads = threads->list(threads::running);
    if( $num_threads < $max_threads ) {
        my $target = shift @targets;
        threads->create(sub { return system "make $target" });
    }
}

不幸的是，我正在挥动两个位。首先是让循环安静地等待，直到线程完成。我相信这是使用threads::shared 的cond_wait() 和信号量变量来完成的。

第二个是从 make 获取返回值，这样你就知道是否有什么失败并停止构建。为此，您必须 join() 每个线程以获得 system() 的结果，即进程的退出代码。

很抱歉仓促回复。希望社区将填补其余部分。

于 2008-10-30T00:13:01.933 回答
3

HPUX 上的 gnu make 没有 -j 标志吗？

http://hpux.connect.org.uk/hppd/hpux/Gnu/make-3.81/

于 2008-10-30T00:42:58.817 回答
1

使用 GNU Parallel，您可以编写：

parallel -j6 make -f Makefile obj{}.o ::: {1..500}

10秒安装：

(wget -O - pi.dk/3 || curl pi.dk/3/ || fetch -o - http://pi.dk/3) | bash

了解更多：http ://www.gnu.org/software/parallel/parallel_tutorial.html https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

于 2013-11-05T21:31:45.677 回答
-1

如果操作系统正确处理处理器间通信和调度，只要不存在相互依赖关系，您就应该能够将所有的 make 投入到后台进程中。

如果它们都是独立的，我会发出一系列这样的命令：

make -f Makefile obj1.o &
make -f Makefile obj2.o &
...
make -f Makefile objn.o &

对于依赖项，用双与号 ( &&) 将它们串起来，这样依赖项在其“父项”完成之前不会启动。

我意识到这不是您要求的解决方案，但这是我解决问题的方式:)

于 2008-10-29T20:49:39.803 回答