2

我目前只抓取谷歌搜索结果的第一页，但我想抓取前 5 页。

得到一个字符串，如：https://encrypted.google.com/search?hl=en&q=site%3Asomedomain.com&start=0

该变量urls获取第一页的所有 10 个结果，但我开始添加条件以检查第一页上的 10 个 url，如果这是真的并且有 10 个 url，我希望它继续转到下一个 url，例如（提供下一个 url 也有 10 个结果）使用类似follow_link()下面的 url：

https://encrypted.google.com/search?hl=en&q=site%3Asomedomain.com&start=10
https://encrypted.google.com/search?hl=en&q=site%3Asomedomain.com&start=20
https://encrypted.google.com/search?hl=en&q=site%3Asomedomain.com&start=30
https://encrypted.google.com/search?hl=en&q=site%3Asomedomain.com&start=40
https://encrypted.google.com/search?hl=en&q=site%3Asomedomain.com&start=50

我该怎么做呢？有人可以帮我吗？

4

1 回答 1

2

您可以使用 BeautifulSoup 来定位带有下一页链接的元素：

from mechanize import Browser
from bs4 import BeautifulSoup

br = Browser()
br.set_handle_robots(False)
br.addheaders = [('User-agent', 'Mozilla/5.0 (Windows NT 6.2;\
                    WOW64) AppleWebKit/537.11 (KHTML, like Gecko)\
                    Chrome/23.0.1271.97 Safari/537.11')]

url = "https://encrypted.google.com/search?hl=en&q=site%3Asomedomain.com&start=0"

r = br.open(url)

soup = BeautifulSoup(r)

nextpage = soup.find("a", {"id": "pnnext"})
print nextpage['href']

输出：

/search?q=site:somedomain.com&hl=en&ei=NJ4HUo2yM-TK4ATJlYGICQ&start=10&sa=N

所以现在你有了下一页的链接。如果未找到元素，则为最后一页

于 2013-08-11T14:22:21.200 回答