scrapy - 如何以json格式存储scrapyd项目

Question

我正在尝试将scrapyd项目存储在JSON file. 实际上，默认情况下它将项目存储在 json 文件中，但如下所示： File_1：

{item1}
{item2}
....

如果我通过scrapy crawl spidername -o fileName -t json 运行我的蜘蛛

它将像这样存储项目：File_2：

[{item1},
{item2},
....]

如果我尝试将 File_1 的粘贴内容复制到jsonParser 中，我会收到错误提示，[ 但 File_2 工作正常。谁能告诉我如何使用 scrapyd 以正确的 JSON 格式存储项目

Answer 1

实际上它的 ajson lines格式，json不适合非常出价的数据。这就是为什么scrapyitem以逗号分隔的格式分隔每个。您可以添加[ & ]文件的开头和结尾，json然后，

Answer 2

Try to save the items directly into the database rather then storing them on the file....then storing the items from file to database... or try to read line by line from that JSON file and then do what ever you want instead of reading the whole file at a time...

Answer 3

添加到您的settings.py：

FEED_FORMAT='json'