1

我目前正在尝试使用 Scrapey 在 python 中制作一个简单的爬虫。我想要它做的是阅读链接列表并保存它们链接到的网站的 html。现在，我能够获取所有的 URL，但我无法弄清楚如何下载该页面。到目前为止，这是我的蜘蛛的代码：

from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from tutorial.items import BookItem

# Book scrappy spider

class DmozSpider(BaseSpider):
    name = "book"
    allowed_domains = ["learnpythonthehardway.org"]
    start_urls = [
        "http://www.learnpythonthehardway.org/book/",
    ]

    def parse(self, response):
        filename = response.url.split("/")[-2]
        file = open(filename,'wb')
        file.write(response.body)
        file.close()

        hxs = HtmlXPathSelector(response)
        sites = hxs.select('//ul/li')
        items = []
        for site in sites:
            item = BookItem()
            item['title'] = site.select('a/text()').extract()
            item['link'] = site.select('a/@href').extract()
            items.append(item)
        return items
4

1 回答 1

1

在您的parse方法中，返回Request返回项目列表中的对象以触发下载：

for site in sites:
    ...
    items.append(item)
    items.append(Request(item['link']), callback=self.parse)

这将导致爬虫BookItem为每个链接生成一个，但也会递归并下载每本书的页面。当然，self.parsebook如果您想以不同的方式解析子页面，您可以指定不同的回调（例如）。

于 2012-08-28T06:22:34.550 回答