我需要创建一个用户可配置的网络蜘蛛/爬虫,我正在考虑使用 Scrapy。但是,我不能硬编码域和允许的 URL regex:es——这将在 GUI 中进行配置。
我如何(尽可能简单)使用 Scrapy 创建一个蜘蛛或一组蜘蛛,其中域和允许的 URL regex:es 是动态可配置的?例如,我将配置写入文件,然后蜘蛛以某种方式读取它。
我需要创建一个用户可配置的网络蜘蛛/爬虫,我正在考虑使用 Scrapy。但是,我不能硬编码域和允许的 URL regex:es——这将在 GUI 中进行配置。
我如何(尽可能简单)使用 Scrapy 创建一个蜘蛛或一组蜘蛛,其中域和允许的 URL regex:es 是动态可配置的?例如,我将配置写入文件,然后蜘蛛以某种方式读取它。
警告:这个答案适用于 Scrapy v0.7,从那时起蜘蛛管理器 api 发生了很大变化。
覆盖默认 SpiderManager 类,从数据库或其他地方加载您的自定义规则,并使用您自己的规则/正则表达式和 domain_name 实例化自定义蜘蛛
在 mybot/settings.py 中:
SPIDER_MANAGER_CLASS = 'mybot.spidermanager.MySpiderManager'
在 mybot/spidermanager.py 中:
from mybot.spider import MyParametrizedSpider
class MySpiderManager(object):
loaded = True
def fromdomain(self, name):
start_urls, extra_domain_names, regexes = self._get_spider_info(name)
return MyParametrizedSpider(name, start_urls, extra_domain_names, regexes)
def close_spider(self, spider):
# Put here code you want to run before spiders is closed
pass
def _get_spider_info(self, name):
# query your backend (maybe a sqldb) using `name` as primary key,
# and return start_urls, extra_domains and regexes
...
return (start_urls, extra_domains, regexes)
现在你的自定义蜘蛛类,在 mybot/spider.py 中:
from scrapy.spider import BaseSpider
class MyParametrizedSpider(BaseSpider):
def __init__(self, name, start_urls, extra_domain_names, regexes):
self.domain_name = name
self.start_urls = start_urls
self.extra_domain_names = extra_domain_names
self.regexes = regexes
def parse(self, response):
...
笔记:
./scrapy-ctl.py crawl <name>
,其中name
传递给 SpiderManager.fromdomain 并且是从后端系统检索更多蜘蛛信息的关键您需要动态创建蜘蛛类,将您最喜欢的通用蜘蛛类子类化,由scrapy
(添加的CrawlSpider
子类提供rules
,或XmlFeedSpider
,或其他)并添加domain_name
,,start_urls
和可能extra_domain_names
(和/或start_requests()
,等),当你得到或推断它们从您的 GUI(或配置文件,或其他)。
Python 使得执行类对象的这种动态创建变得容易;一个非常简单的例子可能是:
from scrapy import spider
def makespider(domain_name, start_urls,
basecls=spider.BaseSpider):
return type(domain_name + 'Spider',
(basecls,),
{'domain_name': domain_name,
'start_urls': start_urls})
allspiders = []
for domain, urls in listofdomainurlpairs:
allspiders.append(makespider(domain, urls))
这为您提供了一个非常简单的蜘蛛类列表——您可能希望parse
在实例化它们之前向它们添加方法。调味...;-)。
在domo上无耻的自我宣传!您需要为您的项目实例化示例中给出的爬虫。
此外,您还需要使爬虫在运行时可配置,这只是将配置传递给爬虫,并在配置更改时覆盖运行时的设置。
现在为这些目的配置scrapy非常容易:
关于要访问的第一个 url,您可以将其作为属性传递给蜘蛛调用-a
,并使用该start_requests
函数设置如何启动蜘蛛
您不需要allowed_domains
为蜘蛛设置变量。如果您不包含该类变量,蜘蛛将能够允许每个域。
它最终应该是这样的:
class MySpider(Spider):
name = "myspider"
def start_requests(self):
yield Request(self.start_url, callback=self.parse)
def parse(self, response):
...
你应该用以下方式调用它:
scrapy crawl myspider -a start_url="http://example.com"