python - Scrapy：存储数据

Question

我是python和scrapy的新手。我正在尝试遵循 Scrapy 教程，但我不了解存储步骤的逻辑。

scrapy crawl spidername -o items.json -t json

scrapy crawl spidername --set FEED_URI=output.csv --set FEED_FORMAT=csv 

我不明白的含义：

• -o
• -t
• - 放

感谢您的帮助

Answer 1

scrapy crawl -h您可以通过在项目目录中键入来查看可用命令的列表。

scrapy crawl spidername -o items.json -t json

• -o指定转储项目的输出文件名 (items.json)
• -t指定转储项目的格式 (json)

scrapy crawl spidername --set FEED_URI=output.csv --set FEED_FORMAT=csv

• --set用于设置/覆盖设置
• FEED_URI用于设置项目转储的存储后端。在这种情况下，它设置为“output.csv”，它使用本地文件系统，即一个简单的输出文件。（对于当前示例 - output.csv）
• FEED_FORMAT用于设置（输出）提要的序列化格式，即（对于当前示例 csv）

参考资料（Scrapy 文档）：

1. 可用的工具命令（用于命令行）
2. 饲料出口

Answer 2

- 放

命令行提供的参数优先，覆盖任何其他选项。

您可以使用 -s（或 --set）命令行选项显式覆盖一个（或多个）设置。

Example:

    scrapy crawl myspider -s LOG_FILE=scrapy.log

    sets the LOG_FILE settings value to `scrapy.log`

-o

指定输出文件名和扩展名，您将在其中写入抓取的数据

Examples: 
    scrapy crawl quotes -o items.csv
    scrapy crawl quotes -o items.json
    scrapy crawl quotes -o items.xml

-t

指定序列化格式或项目的写入方式

https://www.tutorialspoint.com/scrapy/scrapy_settings.htm