1

我正在尝试在 EC2 上安排爬虫并将输出导出到 csv 文件 cppages-nov.csv，同时创建一个作业目录封装我需要暂停爬网，但它没有创建任何文件。我是否使用了正确的 Feed 导出？

curl http://awsserver:6800/schedule.json -d project=wallspider -d spider=cppages -d JOBDIR=/home/ubuntu/scrapy/sitemapcrawl/crawls/cppages-nov -d FEED_URI=/home/ubuntu/scrapy/sitemapcrawl/cppages-nov.csv -d FEED_FORMAT=csv
4

2 回答 2

5

curl http://amazonaws.com:6800/schedule.json -d project=wallspider -d spider=cppages -d setting=FEED_URI=/home/ubuntu/scrapy/sitemapcrawl/results/cppages.csv -d setting=FEED_FORMAT=csv -d setting=JOBDIR=/home/ubuntu/scrapy/sitemapcrawl/crawl/cppages-nov

于 2014-10-02T16:48:47.670 回答
2

在您的设置文件中使用此提要

FEED_EXPORTERS = {
'csv': 'scrapy.contrib.exporter.CsvItemExporter',
}
FEED_FORMAT = 'csv'
于 2014-09-30T06:02:46.763 回答