下面的 Perl 包装器并行执行命令,将 STDOUT 和 STDERR 保存到 /tmp 文件:
open(A,"|parallel");
for $i ("date", "ls", "pwd", "factor 17") {
print A "$i 1> '/tmp/$i.out' 2> '/tmp/$i.err'\n";
}
close(A);
如何从各个命令中获取退出状态值?
下面的 Perl 包装器并行执行命令,将 STDOUT 和 STDERR 保存到 /tmp 文件:
open(A,"|parallel");
for $i ("date", "ls", "pwd", "factor 17") {
print A "$i 1> '/tmp/$i.out' 2> '/tmp/$i.err'\n";
}
close(A);
如何从各个命令中获取退出状态值?
要获取各个工作的存在状态,parallel
需要在某处写入信息。我不知道有没有。如果没有,你可以自己做。
my %jobs = (
"date" => "date",
"ls" => "ls",
"pwd" => "pwd",
"factor" => "factor 17",
);
open(my $parallel, "|parallel");
for my $id (keys(%jobs)) {
print $parallel
$jobs{$id}
." 1> '/tmp/$id.out'"
." 2> '/tmp/$id.err' ; "
."echo \$?"
." > '/tmp/$id.exit'\n";
}
close($parallel);
my $exit_status = $? >> 8;
if ($exit_status >= 255) {
print("Failed\n");
} else {
printf("%d failed jobs\n", $exit_status);
}
for my $id (keys(%jobs)) {
...grab output and exit code from files...
}
更新:
我去安装了parallel
。
它有一个名为的选项--joblog {file}
,可以生成带有退出代码的报告。-
如果您希望它输出到 STDOUT,它接受文件名。
请注意,parallel
不通过信号识别异常死亡,因此--joblog
报告中不包含此内容。使用我上面发布的解决方案,丢失的 .exit 文件将表明异常死亡。(不过,您必须首先确保它不存在。)
更新:
@Ole Tange 提到--joblog {file}
我上面提到的限制,即缺少信号死亡记录,已在版本 20110722 中得到解决。
GNU Parallel 20110722 有 exit val 和 signal in --joblog
:
parallel --joblog /tmp/log false ::: a
cat /tmp/log
Seq Host Starttime Runtime Send Receive Exitval Signal Command
1 : 1311332758 0 0 0 1 0 false a
parallel
您可以使用 CPAN 提供的大量提供类似功能的模块,而不是 wrapping 。
例如:
use Proc::Queue size => 10, qw(run_back);
my @pids;
for $i ("date", "ls", "pwd", "factor 17") {
push @pids, run_back {
open STDOUT, '>', '/tmp/$i.out';
open STDERR, '>', '/tmp/$i.err';
exec $i;
}
}
for (@pids) {
1 while waitfor($_, 0) <= 0;
say "process $_ exit code: ", ($? >> 8);
}
如果您想避免使用包装器,可以考虑:
cat foo | parallel "{} >\$PARALLEL_SEQ.out 2>\$PARALLEL_SEQ.err; echo \$? >\$PARALLEL_SEQ.status"
版本 20110422 或更高版本使其更短:
cat foo | parallel "{} >{#}.out 2>{#}.err; echo \$? >{#}.status"
如果您的行不包含 ' 那么这也应该有效:
cat foo | parallel "{} >'{}'.out 2>'{}'.err; echo \$? >'{}'.status"