python - scrapy.crawler 和 scrapy.spider 的区别？

Question

我是 Scrapy 的新手，对爬虫和蜘蛛很困惑。看来他们俩都可以爬取网站并解析项目。

有一个Crawler类（/usr/local/lib/python2.7/dist-packages/scrapy/crawler.py）和一个CrawlerSpider类（/usr/local/lib/python2.7/dist-packages/scrapy/contrib /spiders/crawl.py) 在 Scrapy 中。有谁可以告诉我它们之间的区别吗？我应该在什么条件下使用哪一个？

提前非常感谢！

Answer 1

CrawlerSpider 是 BaseSpider 的子类：如果您希望蜘蛛按照“规则”列表跟踪链接，则需要扩展这些调用。“Crawler”是 CrawlerProcess 子类的主要爬虫。你将不得不在你的蜘蛛中继承 CrawlerSpider，但我认为你不必接触 Crawler。