15

在蒂姆彼得对“有什么理由不使用有序字典”的回答中，他说

OrderedDict 是 dict 的子类。

它并没有慢很多，但至少比使用普通 dict 的内存增加了一倍。

现在，在处理一个特定问题时，我尝试了一些样本检查ipython，它们都与之前的推理相矛盾：

  1. 两者dict和OrderedDict大小相同
  2. 在 an 上操作OrderedDict所需的时间比在 a 上操作要多 7-8 倍dict（因此要慢得多）

有人可以向我解释我的推理哪里出错了吗？

创建一个大的 Dict 和 OrderedDict 并比较大小：

import sys
import random
from collections import OrderedDict

test_dict = {}
test_ordered_dict = OrderedDict()

for key in range(10000):
    test_dict[key] = random.random()
    test_ordered_dict[key] = random.random()

sys.getsizeof(test_dict)
786712

sys.getsizeof(test_ordered_dict)
786712

使用以下命令检查插入所用的时间%timeit：

import sys
import random
from collections import OrderedDict

def operate_on_dict(r):
    test_dict = {}
    for key in range(r):
        test_dict[key] = random.random()

def operate_on_ordered_dict(r):
    test_ordered_dict = OrderedDict()
    for key in range(r):
        test_ordered_dict[key] = random.random()

%timeit for x in range(100): operate_on_ordered_dict(100)
100 loops, best of 3: 9.24 ms per loop

%timeit for x in range(100): operate_on_dict(100)
1000 loops, best of 3: 1.23 ms per loop
4

1 回答 1

10

我认为 size 的问题是由于__sizeof__Python 2.X的实现中OrderedDict没有定义方法，所以它只是退回到 dict 的__sizeof__方法。

为了证明这一点，我在这里创建了一个A扩展类list，还添加了一个额外的方法foo来检查它是否会影响大小。

class A(list):
    def __getitem__(self, k):
        return list.__getitem__(self, k)
    def foo(self):
        print 'abcde'

>>> a = A(range(1000))
>>> b = list(range(1000))

但仍然返回相同的大小sys.getsizeof：

>>> sys.getsizeof(a), sys.getsizeof(b)
(9120, 9120)

当然A会很慢，因为它的方法在 Python 中运行，而 list 的方法将在纯 C 中运行。

>>> %%timeit
... for _ in xrange(1000):
...     a[_]
... 
1000 loops, best of 3: 449 µs per loop
>>> %%timeit
for _ in xrange(1000):
    b[_]
... 
10000 loops, best of 3: 52 µs per loop

这似乎在 Python 3 中得到修复，__sizeof__现在有一个定义明确的方法：

def __sizeof__(self):
    sizeof = _sys.getsizeof
    n = len(self) + 1                       # number of links including root
    size = sizeof(self.__dict__)            # instance dictionary
    size += sizeof(self.__map) * 2          # internal dict and inherited dict
    size += sizeof(self.__hardroot) * n     # link objects
    size += sizeof(self.__root) * n         # proxy objects
    return size
于 2014-07-31T11:01:36.387 回答