python - 什么更快 - 加载腌制字典对象或加载 JSON 文件 - 到字典？

Question

什么更快：

(A) 'Unpickling'（加载）一个腌制的字典对象，使用pickle.load()

或者

(B) 使用将 JSON 文件加载到字典中simplejson.load()

假设：在案例 A 中已经存在腌制的对象文件，并且在案例 B 中已经存在 JSON 文件。

Answer 1

速度实际上取决于数据、内容和大小。

但是，无论如何，让我们以 json 数据为例，看看哪个更快（Ubuntu 12.04，python 2.7.3）：

• 泡菜
• c泡菜
• json
• 简单的json
• ujson
• 亚吉尔

将此 json 结构转储到test.json文件test.pickle中：

{
    "glossary": {
        "title": "example glossary",
        "GlossDiv": {
            "title": "S",
            "GlossList": {
                "GlossEntry": {
                    "ID": "SGML",
                    "SortAs": "SGML",
                    "GlossTerm": "Standard Generalized Markup Language",
                    "Acronym": "SGML",
                    "Abbrev": "ISO 8879:1986",
                    "GlossDef": {
                        "para": "A meta-markup language, used to create markup languages such as DocBook.",
                        "GlossSeeAlso": ["GML", "XML"]
                    },
                    "GlossSee": "markup"
                }
            }
        }
    }
}

测试脚本：

import timeit

import pickle
import cPickle

import json
import simplejson
import ujson
import yajl


def load_pickle(f):
    return pickle.load(f)


def load_cpickle(f):
    return cPickle.load(f)


def load_json(f):
    return json.load(f)


def load_simplejson(f):
    return simplejson.load(f)


def load_ujson(f):
    return ujson.load(f)


def load_yajl(f):
    return yajl.load(f)


print "pickle:"
print timeit.Timer('load_pickle(open("test.pickle"))', 'from __main__ import load_pickle').timeit()

print "cpickle:"
print timeit.Timer('load_cpickle(open("test.pickle"))', 'from __main__ import load_cpickle').timeit()

print "json:"
print timeit.Timer('load_json(open("test.json"))', 'from __main__ import load_json').timeit()

print "simplejson:"
print timeit.Timer('load_simplejson(open("test.json"))', 'from __main__ import load_simplejson').timeit()

print "ujson:"
print timeit.Timer('load_ujson(open("test.json"))', 'from __main__ import load_ujson').timeit()

print "yajl:"
print timeit.Timer('load_yajl(open("test.json"))', 'from __main__ import load_yajl').timeit()

输出：

pickle:
107.936687946

cpickle:
28.4231381416

json:
31.6450419426

simplejson:
20.5853149891

ujson:
16.9352178574

yajl:
18.9763481617

正如你所看到的，unpickling viapickle根本不是那么快 -cPickle如果你选择 pickling/unpickling 选项，这绝对是要走的路。ujson在这些特定数据的 json 解析器中看起来很有希望。

此外，json库simplejson在pypy上的加载速度要快得多（请参阅Python JSON 性能）。

也可以看看：

• Python JSON 解码性能
• 泡菜还是json？
• Pickle vs JSON——哪个更快？

请务必注意，在您的特定系统、其他类型和大小的数据上，结果可能会有所不同。