5

我使用 scrapy 编写了一个爬虫，它会向不同的站点发出一大堆 HtmlXPathSelector 请求。在（异步）满足每个请求后，它会在 .csv 文件中创建一行数据。无法查看最后满足哪个请求，因为如果尚未提取数据，则重复请求（有时它会丢失几次数据）。即使我从一个整洁的列表开始，输出也很混乱，因为这些行是在提取数据后立即写入的。

现在我想根据一列对该列表进行排序，但在每个请求完成之后。'spider_close' 信号可以用来触发真正的功能吗？如下所示，我尝试将信号与调度程序连接起来，但这个函数似乎只打印出东西，而不是处理变量甚至调用其他函数。

def start_requests(self)
    ...  dispatcher.connect(self.spider_closed, signal=signals.engine_stopped) ....


def spider_closed(spider):
    print 'this gets printed alright'   # <-only if the next line is omitted...
    out = self.AnotherFunction(in)      # <-This doesn't seem to run
4

1 回答 1

1

我拼凑了一个管道来为你解决这个问题。

文件：Project.middleware_module.SortedCSVPipeline

import csv
from scrapy import signals


class SortedCSVPipeline(object):

    def __init__(self):
        self.items = []
        self.file_name = r'YOUR_FILE_PATH_HERE'
        self.key = 'YOUR_KEY_HERE'

    @classmethod
    def from_crawler(cls, crawler):
        pipeline = cls()
        crawler.signals.connect(pipeline.spider_closed, signals.spider_closed)
        return pipeline

    def spider_closed(self, spider):
        for item in sorted(self.items, key=lambda k: k[self.key]):
            self.write_to_csv(item)

    def process_item(self, item, spider):
        self.items.append(item)
        return item

    def write_to_csv(self, item):
       writer = csv.writer(open(self.file_name, 'a'), lineterminator='\n')
       writer.writerow([item[key] for key in item.keys()])

文件：settings.py

ITEM_PIPELINES = {"Project.middleware_module.SortedCSVPipeline.SortedCSVPipeline" : 1000}

运行此程序时，您将不再需要使用项目导出器，因为此管道将为您完成 csv 写入。此外，您的设置中管道条目中的 1000 需要比您要在此之前运行的所有其他管道更高的值。我在我的项目中对此进行了测试，结果生成了一个按我指定的列排序的 csv 文件！高温高压

干杯

于 2015-06-23T19:19:46.133 回答