python - 请求一个不允许从响应中获取状态代码的 url

Question

我正在寻找一种解决方案，用于在不允许的域上发出请求以检查出站链接。

但是我的函数“parse_outboundLinks”从未被调用过。

我必须修改允许的域？

谢谢你的帮助

我的代码：

    name = "mySpider"
    allowed_domains = ["monsite.fr"]
    start_urls = ["http://www.monsite.fr/"]
    rules = [Rule(SgmlLinkExtractor(allow=()),follow='true',callback='parse_item')]

    def parse_item(self, response):
        xlink = SgmlLinkExtractor(deny_domains=(self.allowed_domains[0]))
        for link in xlink.extract_links(response):
            Request(link.url, callback=self.parse_outboundLinks)

   def parse_outboundLinks(self, response):
         print response.status

Answer 1

解析函数只有在指定时才会被调用yield。
更改Request(link.url, callback=self.parse_outboundLinks)为yield Request(link.url, callback=self.parse_outboundLinks)

其他线程中的类似问题。
没有调用scrapy的请求函数