我正在尝试使 SgmlLinkExtractor 工作。
这是签名：
SgmlLinkExtractor(allow=(), deny=(), allow_domains=(), deny_domains=(), restrict_xpaths(), tags=('a', 'area'), attrs=('href'), canonicalize=True, unique=True, process_value=None)
我只是在使用allow=()
所以，我输入
rules = (Rule(SgmlLinkExtractor(allow=("/aadler/", )), callback='parse'),)
所以，最初的 url 是'http://www.whitecase.com/jacevedo/'，我正在输入allow=('/aadler',)并期望它
'/aadler/'也会被扫描。但是，蜘蛛会扫描初始 url，然后关闭：
[wcase] INFO: Domain opened
[wcase] DEBUG: Crawled </jacevedo/> (referer: <None>)
[wcase] INFO: Passed NuItem(school=[u'JD, ', u'Columbia Law School, Harlan Fiske Stone Scholar, Parker School Recognition of Achievement in International and Foreign Law, ', u'2005'])
[wcase] INFO: Closing domain (finished)
我在这里做错了什么？
这里有没有成功使用 Scrapy 的人可以帮助我完成这个蜘蛛？
感谢您的帮助。
我在下面包含蜘蛛的代码：
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import HtmlXPathSelector
from scrapy.item import Item
from Nu.items import NuItem
from urls import u
class NuSpider(CrawlSpider):
domain_name = "wcase"
start_urls = ['xxxxxx/jacevedo/']
rules = (Rule(SgmlLinkExtractor(allow=("/aadler/", )), callback='parse'),)
def parse(self, response):
hxs = HtmlXPathSelector(response)
item = NuItem()
item['school'] = hxs.select('//td[@class="mainColumnTDa"]').re('(?<=(JD,\s))(.*?)(\d+)')
return item
SPIDER = NuSpider()
注意：SO 不会让我发布超过 1 个网址，因此请根据需要替换初始网址。对于那个很抱歉。