python - 从谷歌搜索中抓取网址

Question

我正在尝试编写一个代码，在谷歌搜索某个单词时获得 1000 个 http 页面的第一个 URL。我在 Python 中使用此代码来获取 1000 个第一个 URL

import GoogleScraper
import urllib

urls = GoogleScraper.scrape('english teachers', number_pages=2)
for url in urls:
    print(urllib.parse.unquote(url.geturl()))

print('[!] Received %d results by asking %d pages with %d results per page' %
        (len(urls), 2, 100))`

但此代码返回 0 个收到的结果。有没有另一种方法可以方便地从谷歌搜索中获取大量 URL？我还尝试了 xgoogle 和 pygoogle 模块，但它们可以处理少量的页面请求。

Answer 1

Google 有一个自定义搜索 API，可让您每天免费进行 100 次查询。鉴于每页每页有 10 个结果，您一天内几乎无法容纳 1000 个结果。xgoogle并且pygoogle只是这个 API 的包装器，所以我认为你不能通过使用它们来获得更多的结果。

如果您确实需要更多，请考虑使用另一个 API 密钥创建另一个 Google 帐户，这将有效地使您的限制加倍。如果您对稍差的结果感到满意，您可以尝试 Bing 的搜索 API（他们每月提供 5000 个请求）。