0

目前，您可以将电子表格（包含网站列表）导入数据库。您可以单击一个按钮，它会检索 Google 已为数据库中的每个域编制索引的页面数。

它可以正常工作，直到大约 400 个请求，然后我的请求一无所获。不确定我做错了什么或如何使这项工作 - 有什么想法吗？

try {
        require('db.php');
        $conn = new PDO ( "mysql:host=localhost;dbname=" . $database, $user, $pass );
        $conn->setAttribute( PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION );
        $stmt = $conn->query('SELECT `url` FROM domains');
        $stmt->setFetchMode(PDO::FETCH_ASSOC);
        while($row = $stmt->fetch()){
            $id = $row['id'];
            $url = $row['url'];
            $pages = getIndexedPageCount($url);
            if ( $pages > 0 ) {
                $status = 1;
            } else {
                $status = 0;
            }
            $prep = $conn->prepare("
            UPDATE `domains`
                SET
                    url = :url,
                    pages = :pages,
                    status = :status
                WHERE url = :url
            ");
            $prep->execute(array(
                ':url'      =>  $url,
                ':pages'    =>  $pages,
                ':status'   =>  $status
            ));
        }
    } catch ( PDOException $e ) {
        echo 'Error: ' . $e->getMessage();
        exit;
    }


    function getIndexedPageCount($domain) {

    // remove http:// and https://
    if ( strpos( $domain, 'http:' ) == 0 ) { $domain = str_replace('http://', '', $domain); }
    if ( strpos( $domain, 'https:' ) == 0 ) { $domain = str_replace('https://', '', $domain); }

        $content = file_get_contents('https://www.googleapis.com/customsearch/v1?key={{Removed API Key}}&q=site:' . $domain);

        if (strlen($content) > 1) {
            $data = json_decode($content);
            return intval($data->searchInformation->totalResults);
        }

        else {
            echo "Error: URL does not exist.";
        }
    }

任何帮助将不胜感激; 如果有人有想法，我会尽力让它发挥作用！

4

1 回答 1

2

您可以向 Google 发送的请求数量是有限制的。

有关详细信息，请参见此处https://developers.google.com/console/help/#monitoringandfiltering

这是 API 控制台：https ://code.google.com/apis/console

目前在控制台中它说Custom Search API有一个Courtesy limit: 100 requests/day

如果您未注册计费，超出免费使用配额的任何使用都将失败。启用计费后，您将继续每天收到 100 次免费查询。但是，对于所有额外的请求，您将按每 1000 次查询 5 美元的费率付费，每天最多 10,000 次查询。

于 2012-10-30T20:39:32.407 回答