127

我正在尝试在Python中加载和解析 JSON 文件。但我一直试图加载文件：

import json
json_data = open('file')
data = json.load(json_data)

产量：

ValueError: Extra data: line 2 column 1 - line 225116 column 1 (char 232 - 160128774)

我看了18.2。json— Python 文档中的 JSON 编码器和解码器，但是阅读这个看起来很糟糕的文档非常令人沮丧。

前几行（使用随机条目匿名）：

{"votes": {"funny": 2, "useful": 5, "cool": 1}, "user_id": "harveydennis", "name": "Jasmine Graham", "url": "http://example.org/user_details?userid=harveydennis", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 1, "useful": 2, "cool": 4}, "user_id": "njohnson", "name": "Zachary Ballard", "url": "https://www.example.com/user_details?userid=njohnson", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 1, "useful": 0, "cool": 4}, "user_id": "david06", "name": "Jonathan George", "url": "https://example.com/user_details?userid=david06", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 6, "useful": 5, "cool": 0}, "user_id": "santiagoerika", "name": "Amanda Taylor", "url": "https://www.example.com/user_details?userid=santiagoerika", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 1, "useful": 8, "cool": 2}, "user_id": "rodriguezdennis", "name": "Jennifer Roach", "url": "http://www.example.com/user_details?userid=rodriguezdennis", "average_stars": 3.5, "review_count": 12, "type": "user"}
4

4 回答 4

267

你有一个JSON Lines 格式的文本文件。您需要逐行解析文件：

import json

data = []
with open('file') as f:
    for line in f:
        data.append(json.loads(line))

每行都包含有效的 JSON，但作为一个整体，它不是有效的 JSON 值，因为没有顶级列表或对象定义。

请注意，由于该文件每行都包含 JSON，因此您可以省去尝试一次性解析所有文件或找出流式 JSON 解析器的麻烦。您现在可以选择在继续下一行之前分别处理每一行，从而节省过程中的内存。如果您的文件非常大，您可能不想将每个结果附加到一个列表然后处理所有内容。

如果您有一个包含单个 JSON 对象且中间有分隔符的文件，请使用如何使用“json”模块一次读取一个 JSON 对象？使用缓冲方法解析出单个对象。

于 2012-09-16T23:08:23.347 回答
15

对于那些偶然发现这个问题的人：pythonjsonlines库（比这个问题年轻得多）优雅地处理每行一个 json 文档的文件。见https://jsonlines.readthedocs.io/

于 2017-07-17T18:00:11.673 回答
9

如果您正在使用pandas并且您有兴趣将json文件加载为数据框，您可以使用：

import pandas as pd
df = pd.read_json('file.json', lines=True)

并将其转换为 json 数组，您可以使用：

df.to_json('new_file.json')
于 2021-07-27T09:13:54.350 回答
3

那是格式不正确。每行有一个 JSON 对象，但它们不包含在更大的数据结构（即数组）中。您要么需要重新格式化它，使其在每行末尾以逗号开头[和结尾]，要么将其逐行解析为单独的字典。

于 2012-09-16T23:09:16.917 回答