15

我可以访问一台可以访问 10 个内核的机器——我想实际使用它们。我习惯在自己的机器上做的事情是这样的：

for f in *.fa; do
  myProgram (options) "./$f" "./$f.tmp"
done

我有 10 个文件要执行此操作——我们称它们为 blah00.fa、blah01.fa、... blah09.fa。

这种方法的问题是 myProgram 一次只使用 1 个核心，并且在多核机器上这样做我会一次使用 1 个核心 10 次，所以我不会使用我的机器它的最大能力。

我怎样才能更改我的脚本，以便它同时运行我的所有 10 个 .fa 文件？我查看了Run a looped process in bash across multiple cores，但我无法从中获取命令来执行我想要的操作。

4

3 回答 3

12

你可以使用

for f in *.fa; do
    myProgram (options) "./$f" "./$f.tmp" &
done
wait

这将并行启动所有工作，然后等到它们全部完成后再继续。如果您的作业多于核心，您将启动所有作业并让您的操作系统调度程序担心交换进程。

一种修改是一次启动 10 个作业

count=0
for f in *.fa; do
    myProgram (options) "./$f" "./$f.tmp" &
    (( count ++ ))        
    if (( count = 10 )); then
        wait
        count=0
    fi
done

但这不如使用parallel，因为您无法在旧工作完成时开始新工作，而且您也无法在开始 10 个工作之前检测旧工作是否完成。wait允许您等待单个特定进程或所有后台进程，但不会让您知道任意一组后台进程中的任何一个何时完成。

于 2013-03-11T16:55:08.093 回答
8

使用 GNU Parallel，您可以：

parallel myProgram (options) {} {.}.tmp ::: *.fa

来自： http: //git.savannah.gnu.org/cgit/parallel.git/tree/README

= 完整安装 =

GNU Parallel 的完整安装非常简单：

./configure && make && make install

如果您不是 root，您可以将 ~/bin 添加到您的路径并安装在 ~/bin 和 ~/share 中：

./configure --prefix=$HOME && make && make install

或者，如果您的系统缺少“make”，您可以简单地将 src/parallel src/sem src/niceload src/sql 复制到路径中的目录。

= 最少安装 =

如果您只需要并行并且没有安装“make”（可能系统是旧的或 Microsoft Windows）：

wget http://git.savannah.gnu.org/cgit/parallel.git/plain/src/parallel
chmod 755 parallel
cp parallel sem
mv parallel sem dir-in-your-$PATH/bin/

观看介绍视频以了解更多信息：https ://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

于 2013-03-11T20:56:14.170 回答
0 
# Wait while instance count less than $3, run additional instance and exit
function runParallel () {
    cmd=$1
    args=$2
    number=$3
    currNumber="1024"
    while true ; do
        currNumber=`ps -e | grep -v "grep" | grep " $1$" | wc -l`
        if [ $currNumber -lt $number ] ; then
            break
        fi
        sleep 1
    done
    echo "run: $cmd $args"
    $cmd $args &
}

loop=0
# We will run 12 sleep commands for 10 seconds each 
# and only five of them will work simultaneously
while [ $loop -ne 12 ] ; do
    runParallel "sleep" 10 5
    loop=`expr $loop + 1`
done
于 2015-02-11T11:52:36.227 回答