python - 在 Python 中查询 JSON

Question

我在 python 中看到了一些关于 Quering JSON 的问题，但我并没有完全找到我要找的东西。我有两个 JSON 格式的大文件，其中每一行都是一条记录，例如

文件 1：

{"x": 2, "y": 0}
{"x": 3, "y": 1}
{"x": 4, "y": 1}

文件 2：

{"x": 5, "z": 0}
{"x": 4, "z": 1}
{"x": 4, "z": 1}

我将文件输入到python

for line in infile:
      Review = json.loads(line)

在将行插入“审查”后，我会执行额外的操作将这些记录插入到字典中。

这需要相当长的时间，因为每个文件都有大约 100K 行。现在，如果我想查询这些文件（比如说，通过 X 加入），我必须再次遍历它们。我想过在 python 中使用某种 Sqlite 包来做到这一点，但它似乎太笨拙了。任何人都知道最有效的方法是什么？谢谢。

Answer 1

SQLite3在 python 标准库中，所以你已经有了它。您使用 (":memory:") 在内存中创建表，而不是普通的连接字符串（上面链接页面上的详细信息）。

您正在对大量内容进行数据库样式操作，并且希望快速完成它们：这表明（a）数据库和（b）将所有内容加载到内存中。