5

我想使用scrapy解析kickstarter.com项目，但不知道如何制作我没有在start_urls下明确指定的蜘蛛搜索项目。我已经弄清楚了scrapy代码的第一部分（我可以从一个网站提取必要的信息），但我无法让它为域kickstarter.com/projects下的所有项目执行此操作。

根据我的阅读，我相信解析是可能的（1）使用起始页面（kickstarter.com/projects）上的链接，（2）使用来自一个项目页面的链接跳转到另一个项目，以及（3）使用用于定位要解析的网页的站点地图（我认为 kickstarter.com 没有）。

我已经花了几个小时尝试这些方法中的每一种，但我一无所获。

我使用了scrapy教程代码并以此为基础。

这是到目前为止有效的部分：

from scrapy import log
from scrapy.contrib.spiders import CrawlSpider   
from scrapy.selector import HtmlXPathSelector  

from tutorial.items import kickstarteritem

class kickstarter(CrawlSpider):
    name = 'kickstarter'
    allowed_domains = ['kickstarter.com']    
    start_urls = ["http://www.kickstarter.com/projects/brucegoldwell/dragon-keepers-book-iv-fantasy-mystery-magic"]

    def parse(self, response):
        x = HtmlXPathSelector(response)

        item = kickstarteritem()
        item['url'] = response.url
        item['name'] = x.select("//div[@class='NS-project_-running_board']/h2[@id='title']/a/text()").extract()
        item['launched'] = x.select("//li[@class='posted']/text()").extract()
        item['ended'] = x.select("//li[@class='ends']/text()").extract()
        item['backers'] = x.select("//span[@class='count']/data[@data-format='number']/@data-value").extract()
        item['pledge'] = x.select("//div[@class='num']/@data-pledged").extract()
        item['goal'] = x.select("//div[@class='num']/@data-goal").extract()
        return item
4

1 回答 1

5

由于您是子类化CrawlSpider，因此不要覆盖parse. CrawlSpider的链接爬取逻辑包含在 中parse，这是您真正需要的。

至于爬行本身，这就是rules类属性的用途。我还没有测试过，但它应该可以工作：

from scrapy.contrib.spiders import CrawlSpider
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.contrib.loader import XPathItemLoader
from scrapy.selector import HtmlXPathSelector

from tutorial.items import kickstarteritem

class kickstarter(CrawlSpider):
    name = 'kickstarter'
    allowed_domains = ['kickstarter.com']    
    start_urls = ['http://www.kickstarter.com/discover/recently-launched']

    rules = (
        Rule(
            SgmlLinkExtractor(allow=r'\?page=\d+'),
            follow=True
        ),
        Rule(
            SgmlLinkExtractor(allow=r'/projects/'),
            callback='parse_item'
        )
    )

    def parse_item(self, response):
        xpath = HtmlXPathSelector(response)
        loader = XPathItemLoader(item=kickstarteritem(), response=response)

        loader.add_value('url', response.url)
        loader.add_xpath('name', '//div[@class="NS-project_-running_board"]/h2[@id="title"]/a/text()')
        loader.add_xpath('launched', '//li[@class="posted"]/text()')
        loader.add_xpath('ended', '//li[@class="ends"]/text()')
        loader.add_xpath('backers', '//span[@class="count"]/data[@data-format="number"]/@data-value')
        loader.add_xpath('pledge', '//div[@class="num"]/@data-pledged')
        loader.add_xpath('goal', '//div[@class="num"]/@data-goal')

        yield loader.load_item()

蜘蛛爬取最近启动的项目的页面。

另外，使用yield代替return. 最好将蜘蛛的输出保持为生成器，它可以让您产生多个项目/请求，而无需制作列表来保存它们。

于 2013-03-14T02:59:35.290 回答