7

我正在尝试使用 bash 并行处理文件集。我正在使用命名管道来保持进程数量固定并从进程中收集输出。

我假设对命名管道的写入是原子的，即不同进程的输出没有混淆。这是一个安全的假设吗？

任何意见是极大的赞赏。我仅限于使用 bash。

这是代码：

mytask()
{
  wItem=$1
  #dummy func; process workItem
  rt=$RANDOM
  st=$rt;
  let "rt %= 2"
  let "st %= 10"
  sleep $st
  return $rt
}

parallelizeTask()
{
workList=$1
threadCnt=$2
task=$3
threadSyncPipeD=$4
outputSyncPipeD=$5

ti=0
for workItem in $workList; do
  if [ $ti -lt $threadCnt ]; then
    { $task $workItem; if [ $? == 0 ]; then result="success"; else result="failure"; fi; \
      echo "$result:$workItem" >&$outputSyncPipeD; echo "$result:$workItem" >&$threadSyncPipeD; } &
    ((ti++))
    continue;
  fi
  while read n; do
      ((ti--))
      break;
  done <&$threadSyncPipeD
  { $task $workItem; if [ $? == 0 ]; then result="success"; else result="failure"; fi; \
    echo "$result:$workItem" >&$outputSyncPipeD; echo "$result:$workItem" >&$threadSyncPipeD;} &
  ((i++))
done
wait
echo "quit" >&$outputSyncPipeD

while read n; do
 if [[ $n == "quit" ]]; then
    break;
 else
    eval $6="\${$6}\ \$n"
 fi
 done <&$outputSyncPipeD;
}

main()
{
  if [ ! -p threadSyncPipe ]; then
     mkfifo threadSyncPipe
   fi

   if [ ! -p outputSyncPipe ]; then
      mkfifo outputSyncPipe
   fi

   exec 4<>threadSyncPipe
   exec 3<>outputSyncPipe
   gout=
   parallelizeTask "f1 f2 f3 f4 f5 f6" 2 mytask 3 4 gout

   echo "finalOutput: $gout";
   for f in $gout; do
       echo $f
   done

   rm outputSyncPipe
   rm threadSyncPipe
}

main

我在下面找到了相关帖子，并回答了我的问题。我已经修改了标题以使其更合适。

在 posix 的命名管道上让许多进程写入单个读取器是否会产生影响？

4

1 回答 1

2

我在下面给出的相关帖子中找到了答案，据此，只要写入消息小于页面大小 4k（页面大小取决于系统配置），对 fifo 的写入就是原子的。

在 posix 的命名管道上让许多进程写入单个读取器是否会产生影响？

谢谢大家的回复和建议。

于 2013-12-30T17:50:18.423 回答