1

我使用一个 php 函数来返回 1000 多个网站的状态（即网站是 up 还是 down）。

public function curlCheck($nodes) {

    $results = array();
    $node_count = count($nodes);

    $curl_arr = array();
    $master = curl_multi_init();

    for ($i = 0; $i < $node_count; $i++) {
        $url = $nodes[$i];
        $curl_arr[$i] = curl_init($url);
        curl_setopt($curl_arr[$i], CURLOPT_RETURNTRANSFER, true);
        curl_setopt($curl_arr[$i], CURLOPT_NOBODY, true);
        curl_setopt($curl_arr[$i], CURLOPT_TIMEOUT, 5);
        curl_multi_add_handle($master, $curl_arr[$i]);
    }

    $running = null;
    do {
        curl_multi_exec($master, $running);
    } while ($running > 0);


    for ($i = 0; $i < $node_count; $i++) {
        $results[$i]['url'] = curl_getinfo($curl_arr[$i], CURLINFO_EFFECTIVE_URL);
        $results[$i]['code'] = curl_getinfo($curl_arr[$i], CURLINFO_HTTP_CODE);
        $results[$i]['time'] = curl_getinfo($curl_arr[$i], CURLINFO_PRETRANSFER_TIME);
    }
    echo 'done';
    return $results;
}

$nodes = array('http://google.com','http://yahoo.com','http://msn.com');   
$result= curlCheck($nodes);
print_r($result);

虽然我使用curl_multi，但是这个过程的时间很长；为此，我该如何进行并行处理。

4

2 回答 2

0

根据https://bugs.php.net/bug.php?id=61141：

在使用 libcurl 7.24 或更高版本（似乎对应于 PHP 5.3.10 或更高版本）的 Windows 设置上，您可能会发现 curl_multi_select() 总是返回 -1，导致文档中的示例代码超时。这显然不是严格意义上的错误：根据 libcurl 文档，如果 curl_multi_select 返回 -1，您应该添加自己的睡眠。

于 2015-03-09T10:38:34.620 回答
-1

试试这个解决方案：

如果使用set_time_limit(0);xampp 或 wampp，则使用；您的执行时间可能会突然结束；

class myclass
{

public $multi_exec_curl_files = array();

//...

public function name()
{

//add urls to list

foreach($array as $id => $value)
$this->multi_exec_curl_files[] = array('link' => $value['link']);

//...

$this->multiCurl($this->multi_exec_curl_files);


...

}

public function multiCurl($res = array(), $options = "") {

        if (count($res) <= 0)
            return False;

        $handles = array();

        if (!$options) // add default options
            $options = self::$options;

        //print_r($options);
        // add curl options to each handle
        foreach ($res as $k => $row) {
            $ch{$k} = curl_init();
            $options[CURLOPT_URL] = $row['link'];
            //echo $row['link'].PHP_EOL;
            curl_setopt_array($ch{$k}, $options);
            $handles[$k] = $ch{$k};
        }
        //die('d');

        $mh = curl_multi_init();

        foreach ($handles as $k => $handle) {
            curl_multi_add_handle($mh, $handle);
        }

        $running_handles = null;
        //execute the handles
        do {
            $status_cme = curl_multi_exec($mh, $running_handles);
        } while ($status_cme == CURLM_CALL_MULTI_PERFORM);
//
        while ($running_handles && $status_cme == CURLM_OK) {
            if (curl_multi_select($mh) != -1) {
                do {
                    $status = curl_multi_exec($mh, $running_handles);
                } while ($status == CURLM_CALL_MULTI_PERFORM);
            }
        }

}

从这里拿走；这个有效，我每天测试它；根据需要添加功能；

指导：

  1. 实例化类，区分大小写

    $app = new myclass();

  2. 运行主函数

    $app->name();

在此功能中，您必须进行查询并从数据库中提取所有网站 url，并将链接存储在变量/属性中$this->multi_exec_curl_files；

我使用了$array作为我的网站列表；

  1. 加载完所有网站 url 后，调用 multi curl 方法；

    $this->multiCurl($this->multi_exec_curl_files);

这将为每个网站 url 启动一个执行行（句柄），它将按照您的要求执行；

我用这个方法同时下载多个网站的网页，你可以用这个看一个网站是否在线（多个网站）；

$handles是 curl 中的链接集合

$handle是一个网址

一旦进程启动，它会一直等到所有句柄都完成；

于 2013-02-13T09:40:47.217 回答