1

我正在尝试更改 Scrapy 的统计中间件。

这是 Scrapy 的 stats.py 的完整内容：

from scrapy.exceptions import NotConfigured
from scrapy.utils.request import request_httprepr
from scrapy.utils.response import response_httprepr

class DownloaderStats(object):

    def __init__(self, stats):
        self.stats = stats

    @classmethod
    def from_crawler(cls, crawler):
        if not crawler.settings.getbool('DOWNLOADER_STATS'):
            raise NotConfigured
        return cls(crawler.stats)

    def process_request(self, request, spider):
        self.stats.inc_value('downloader/request_count', spider=spider)
        self.stats.inc_value('downloader/request_method_count/%s' % request.method, spider=spider)
        reqlen = len(request_httprepr(request))
        self.stats.inc_value('downloader/request_bytes', reqlen, spider=spider)

    def process_response(self, request, response, spider):
        self.stats.inc_value('downloader/response_count', spider=spider)
        self.stats.inc_value('downloader/response_status_count/%s' % response.status, spider=spider)
        reslen = len(response_httprepr(response))
        self.stats.inc_value('downloader/response_bytes', reslen, spider=spider)
        return response

    def process_exception(self, request, exception, spider):
        ex_class = "%s.%s" % (exception.__class__.__module__, exception.__class__.__name__)
        self.stats.inc_value('downloader/exception_count', spider=spider)
        self.stats.inc_value('downloader/exception_type_count/%s' % ex_class, spider=spider)

在from_crawlerclassmethod 中，传入的究竟是什么？

4

1 回答 1

2

首先，DownloaderStats(object)并不意味着 DownloaderStats 正在被传递一个对象，而是意味着 DownloaderStats 类扩展了object该类。

在您的类方法中，cls是被调用的类，在这种情况下是DownloaderStats. 所以代码cls(crawler.stats)可以被认为是DownloaderStats(crawler.stats)，它实例化了类 DownloaderStats 的一个对象。在 Python 中实例化对象会导致它们的__init__方法被调用，因此 的值crawler.stats被分配给方法的stats参数__init__，然后被分配给self.stats.

于 2013-08-27T22:58:22.057 回答