0

我们必须在每次上传后缓存相当大的数据数据库，因此我们创建了一个 bash 脚本来为我们处理它。该脚本应该启动 4 次并行卷曲到站点，一旦完成，从我们存储在文件中的 URL 列表中启动下一个。

理论上一切正常，如果我们从本地机器运行 4 个进程到目标站点，这个概念就可以工作。

如果我设置 MAX_NPROC=1，curl 需要的时间与浏览器点击 URL 时一样长，即 20 秒。如果我设置 MAX_NPROC=2，请求所用的时间会增加三倍。

我错过了什么吗？这是一个让我们慢下来的 apache 设置吗？或者这是我缺少的秘密 cURL 设置？

任何帮助将不胜感激。请在下面找到 bash 脚本

#!/bin/bash

if [[ -z $2 ]]; then
    MAX_NPROC=4 # default
else
    MAX_NPROC=$2
fi

if [[ -z $1 ]]; then
    echo "File with URLs is missing"
    exit
fi;

NUM=0
QUEUE=""

DATA=""
URL=""

declare -a URL_ARRAY
declare -a TIME_ARRAY
ERROR_LOG=""

function queue {
    QUEUE="$QUEUE $1"
    NUM=$(($NUM+1))
}

function regeneratequeue {
    OLDREQUEUE=$QUEUE

    echo "OLDREQUEUE:$OLDREQUEUE"


    QUEUE=""
    NUM=0
    for PID in $OLDREQUEUE
    do
        process_count=`ps ax | awk '{print $1 }' | grep -c "^${PID}$"`

        if [ $process_count -eq 1 ] ; then
            QUEUE="$QUEUE $PID"
            NUM=$(($NUM+1))
        fi
    done

}

function checkqueue {
    OLDCHQUEUE=$QUEUE
    for PID in $OLDCHQUEUE
    do

        process_count=`ps ax | awk '{print $1 }' | grep -c "^${PID}$"`

        if [ $process_count -eq 0 ] ; then
            wait $PID
            my_status=$?
            if [[ $my_status -ne 0 ]]
            then
                echo "`date` $my_status ${URL_ARRAY[$PID]}" >> $ERROR_LOG
            fi

            current_time=`date +%s`
            old_time=${TIME_ARRAY[$PID]}
            time_difference=$(expr $current_time - $old_time)

            echo "`date` ${URL_ARRAY[$PID]} END ($time_difference seconds)" >> $REVERSE_LOG

            #unset TIME_ARRAY[$PID]
            #unset URL_ARRAY[$PID] 

            regeneratequeue # at least one PID has finished
            break
        fi
    done
}

REVERSE_LOG="$1.rvrs"
ERROR_LOG="$1.error"

echo "Cache STARTED at `date`" > $REVERSE_LOG
echo "" > ERROR_LOG

while read line; do

    # create the command to be run
    DATA="username=user@server.com&password=password"
    URL=$line
    CMD=$(curl --data "${DATA}" -s -o /dev/null --url "${URL}")

    echo "Command: ${CMD}"    
    # Run the command
    $CMD &
    # Get PID for process
    PID=$!
    queue $PID;
    URL_ARRAY[$PID]=$URL;
    TIME_ARRAY[$PID]=`date +%s`
    while [ $NUM -ge $MAX_NPROC ]; do
         checkqueue
         sleep 0.4
     done
done < $1
echo "Cache FINISHED at `date`" >> $REVERSE_LOG
exit
4

1 回答 1

1

网络几乎总是瓶颈。产生更多连接通常会使它变慢。

您可以尝试通过产生几个来查看并行化它是否会对您有任何好处

时间卷曲...... &

于 2012-07-31T19:38:36.990 回答