8

我以 JSON 的形式从我的数据库中导出了一些数据，它本质上只是一个 [列表]，其中包含一堆 (900K) {objects}。

现在尝试在我的生产服务器上导入它，但我有一些便宜的网络服务器。他们不喜欢我 10 分钟吃掉他们所有的资源。

我怎样才能把这个文件分成更小的块，以便我可以一块一块地导入它？

编辑：实际上，它是一个 PostgreSQL 数据库。我愿意接受有关如何分块导出所有数据的其他建议。我的服务器上安装了 phpPgAdmin，据说它可以接受 CSV、Tabbed 和 XML 格式。

我不得不修复 phihag 的脚本：

import json
with open('fixtures/PostalCodes.json','r') as infile:
  o = json.load(infile)
  chunkSize = 50000
  for i in xrange(0, len(o), chunkSize):
    with open('fixtures/postalcodes_' + ('%02d' % (i//chunkSize)) + '.json','w') as outfile:
      json.dump(o[i:i+chunkSize], outfile)

倾倒：

pg_dump -U username -t table database > filename

恢复：

psql -U username < filename

（我不知道 pg_restore 到底做了什么，但它给了我错误）

这方面的教程很方便地将这些信息排除在外，尤其是。-U在大多数情况下可能需要的选项。是的，手册页解释了这一点，但筛选 50 个您不关心的选项总是很痛苦。

我最终接受了肯尼的建议……尽管这仍然是一个很大的痛苦。我不得不将表转储到一个文件中，压缩它，上传它，提取它，然后我尝试导入它，但是生产中的数据略有不同，并且缺少一些外键（邮政编码附加到城市）。当然，我不能只导入新城市，因为这样会引发重复键错误，而不是默默地忽略它，这会很好。所以我不得不清空那张桌子，对城市重复这个过程，却发现有别的东西与城市联系在一起，所以我也不得不清空那张桌子。重新获得城市，然后我终于可以导入我的邮政编码。到现在为止，我已经删除了一半的数据库，因为一切都与一切相关，我不得不重新创建所有条目。迷人的。还好我没有 t 启动该网站。此外，“清空”或截断表似乎不会重置我想要的序列/自动增量，因为我希望有几个魔法条目 ID 为 1。所以..我必须删除或重置那些也是（我不知道如何），所以我手动编辑了那些回到 1 的 PK。

使用 phihag 的解决方案我会遇到类似的问题，而且我必须一次导入 17 个文件，除非我编写了另一个导入脚本来匹配导出脚本。虽然他确实从字面上回答了我的问题，所以谢谢。

4

4 回答 4

10

在 Python 中：

import json
with open('file.json') as infile:
  o = json.load(infile)
  chunkSize = 1000
  for i in xrange(0, len(o), chunkSize):
    with open('file_' + str(i//chunkSize) + '.json', 'w') as outfile:
      json.dump(o[i:i+chunkSize], outfile)
于 2011-08-13T20:14:33.797 回答
2

我把 phihag 和 mark 的工作变成了一个小脚本（要点）

也复制如下：

#!/usr/bin/env python 
# based on  http://stackoverflow.com/questions/7052947/split-95mb-json-array-into-smaller-chunks
# usage: python json-split filename.json
# produces multiple filename_0.json of 1.49 MB size

import json
import sys

with open(sys.argv[1],'r') as infile:
    o = json.load(infile)
    chunkSize = 4550
    for i in xrange(0, len(o), chunkSize):
        with open(sys.argv[1] + '_' + str(i//chunkSize) + '.json', 'w') as outfile:
            json.dump(o[i:i+chunkSize], outfile)
于 2014-11-18T11:48:29.130 回答
1

假设您可以选择返回并再次导出数据......：

pg_dump - 将 PostgreSQL 数据库提取到脚本文件或其他存档文件中。

pg_restore - 从 pg_dump 创建的存档文件中恢复 PostgreSQL 数据库。

如果这没有用，那么了解您将要对输出做什么可能会很有用，以便另一个建议可以达到目标。

于 2011-08-13T20:14:56.470 回答
1

我知道这是不久前的问题，但我认为这个新的解决方案很容易。

您可以使用pandas 0.21.0which 支持 chunksize 参数作为read_json. 您可以一次加载一个块并保存 json：

import pandas as pd
chunks = pd.read_json('file.json', lines=True, chunksize = 20)
for i, c in enumerate(chunks):
    c.to_json('chunk_{}.json'.format(i))
于 2017-11-29T20:43:42.840 回答