2

我正在尝试用 python 实现一个网络爬虫。这是我到目前为止所拥有的：

import urllib2

seed=raw_input('Enter a url : ')

def getAllNewLinksOnPage(page,prevLinks):

response = urllib2.urlopen(page)
html = response.read()

links,pos,allFound=[],0,False
while not allFound:
    aTag=html.find("<a href=",pos)
    if aTag>-1:
        href=html.find('"',aTag+1)
        endHref=html.find('"',href+1)
        url=html[href+1:endHref]
        if url[:7]=="http://":
            if url[-1]=="/":
                url=url[:-1]
            if not url in links and not url in prevLinks:
                links.append(url)     
                print url
        closeTag=html.find("</a>",aTag)
        pos=closeTag+1
    else:
        allFound=True   
return links

toCrawl=[seed]
crawled=[]
while toCrawl:
url=toCrawl.pop()
crawled.append(url)
newLinks=getAllNewLinksOnPage(url,crawled)
toCrawl=list(set(toCrawl)|set(newLinks))

print crawled

我想知道如何实施深度搜索并对结果进行排序。

4

1 回答 1

4

到目前为止，您实现的是一种随机顺序搜索，因为您保留了一个set要抓取的链接。（您实际上保留了 a list，但将其set反复转换为 a ，这会扰乱您的任何顺序。）

要将其转变为深度优先搜索，通常的解决方案是递归地进行。然后，您不需要任何外部存储链接即可进行爬网。您仍然需要跟踪到目前为止已爬取的链接——既是为了避免重复，又是因为您想在最后对链接进行排序（这需要对某些内容进行排序），但仅此而已。所以：

def crawl(seed):
    crawled = set()
    def crawl_recursively(link):
        if link in crawled:
            return
        newLinks = getAllLinksOnPage(link)
        crawled.add(seed)
        for link in newLinks:
            crawl_recursively(link)
    crawl_recursively(seed)
    return sorted(crawled)

如果您不想使用递归，另一种方法是使用显式的链接堆栈进行爬网。但是你不能继续重新组织那个堆栈，或者它不再是一个堆栈。同样，一组单独的已抓取链接将解决避免重复查找的问题。

def crawl(seed):
    crawled = set()
    to_crawl = [seed]
    while to_crawl:
        link = to_crawl.pop()
        if link in crawled:
            continue
        crawled.add(link)
        newLinks = getAllLinksOnPage(link)
        to_crawl.extend(newLinks)
    return sorted(crawled)

将堆栈变成队列（只需将一行更改为to_crawl.pop(0)）使其成为广度优先搜索。

如果你担心它会to_crawl变得太大，因为它充满了重复，你可以在你去的时候把它们去掉。由于您想要深度优先，因此您想要去掉那些堆积起来以备后用的东西，而不是新的。最简单的方法可能是使用OrderedSet（例如，从文档链接的配方）：collections

    to_crawl = OrderedSet()
    # …
        new_link_set = OrderedSet(newLinks)
        to_crawl -= new_link_set
        to_crawl |= new_link_set - crawled
于 2013-11-05T21:16:34.957 回答