我将数十万条 JSON 记录发布到最大数据上传限制为 1MB 的服务器。我的记录可以是非常可变的大小,从几百字节到几十万字节。
def checkSize(payload):
return len(payload) >= bytesPerMB
toSend = []
for row in rows:
toSend.append(row)
postData = json.dumps(toSend)
tooBig = tooBig or checkSize()
if tooBig:
sendToServer(postData)
然后发布到服务器。它目前有效,但 toSend 不断转储到 jsonified 字符串似乎真的很重,几乎 100% 太多了,尽管我似乎找不到另一种方法。我可以将各个新记录串起来并记录它们在一起的情况吗?
我确信必须有一种更清洁的方法来做到这一点,但我只是不知道。
感谢您提供的所有帮助。
这是我现在正在使用的答案,我与下面的@rsegal 同时想出了它,只是为了清晰和完成而发布(sendToServer 只是一个显示事情正常工作的虚拟函数),
import pickle
import json
f = open("userProfiles")
rows = pickle.load(f)
f.close()
bytesPerMB = 1024 * 1024
comma = ","
appendSize = len(comma)
def sendToServer(obj):
#send to server
pass
def checkSize(numBytes):
return numBytes >= bytesPerMB
def jsonDump(obj):
return json.dumps(obj, separators=(comma, ":"))
leftover = []
numRows = len(rows)
rowsSent = 0
while len(rows) > 0:
toSend = leftover[:]
toSendSize = len( jsonDump(toSend) )
leftover = []
first = len(toSend) == 0
while True:
try:
row = rows.pop()
except IndexError:
break
rowSize = len( jsonDump(row) ) + (0 if first else appendSize)
first = False
if checkSize(toSendSize + rowSize):
leftover.append(row)
break
toSend.append(row)
toSendSize += rowSize
rowsSent += len(toSend)
postData = jsonDump(toSend)
print "assuming to send '{0}' bytes, actual size '{1}'. rows sent {2}, total {3}".format(toSendSize, len(postData), rowsSent, numRows)
sendToServer(postData)