amazon-s3 - 使用 Feed Exporter 将项目从 Scrapyd 保存到 Amazon S3

Question

将 Scrapy 与 amazon S3 一起使用非常简单，您可以设置：

• FEED_URI = 's3://MYBUCKET/feeds/%(name)s/%(time)s.jl'
• FEED_FORMAT = 'jsonlines'
• AWS_ACCESS_KEY_ID = [访问密钥]
• AWS_SECRET_ACCESS_KEY = [密钥]

一切正常。

但 Scrapyd 似乎覆盖了该设置并将项目保存在服务器上（在网站上有链接）

添加“items_dir =”设置似乎并没有改变任何东西。

什么样的设置使它起作用？

编辑：可能相关的额外信息 - 我们正在使用 Scrapy-Heroku。

Answer 1

我也面临同样的问题。从 scrapyd.conf 文件中删除 items_dir= 对我有用。

Answer 2

您可以将items_dir属性设置为空值，如下所示：

[scrapyd]
items_dir=

似乎在设置该属性时，优先于配置的导出。有关详细信息，请参阅http://scrapyd.readthedocs.org/en/latest/config.html。