我最好的猜测是,没有任何一行是有效的 JSON。这将导致ValueError
每次都被抛出,并且你永远不会得到,data.append(...)
因为那时总是抛出异常。
如果整个文件是这样的 JSON 数组:
[
{
"direction": "left",
"time": 1
},
{
"direction": "right",
"time": 2
}
]
然后你可以简单地使用类似的东西:
with open('output.json', 'r') as f:
data = json.load(f)
但是,如果它是顶层的一堆 JSON 项,而不是包含在 JSON 对象或数组中,如下所示:
{
"direction": "left",
"time": 1
}
{
"direction": "right",
"time": 2
}
那么您将不得不采用不同的方法:逐个解码项目。不幸的是,我们无法流式传输数据,因此我们首先必须一次加载所有数据:
with open('output.json', 'r') as f:
json_data = f.read()
要解析单个项目,我们使用decode_raw
. 这意味着我们需要做一个JSONDecoder
:
decoder = json.JSONDecoder()
然后我们继续,去除字符串左侧的所有空格,检查以确保我们仍然有项目,并解析一个项目:
while json_data.strip(): # while there's still non-whitespace...
# strip off whitespace on the left side of the string
json_data = json_data.lstrip()
# and parse an item, setting the new data to be whatever's left
item, json_data = decoder.parse_raw(json_data)
# ...and then append that item to our list
data.append(item)
如果您正在做大量这样的数据收集,那么将其存储在数据库中可能是值得的。像SQLite这样简单的东西就可以了。数据库将使以有效方式进行汇总统计变得更加容易。(这就是它们的设计目的!)如果您经常这样做而不是大量解析 JSON,它可能还可以更快地访问数据。