14

我正在为性能很重要的应用程序编写代码。我想知道为什么defaultdict似乎更快setdefault。

我希望能够使用setdefault，主要是因为我不喜欢嵌套的打印输出defaultdict（参见下面的实现）。

在我的代码中，我需要测试是否element_id已经是字典的键。

这是我正在测试的两个功能：

def defaultdictfunc(subcases,other_ids,element_ids):
    dict_name= defaultdict(lambda: defaultdict(lambda: defaultdict(dict)))
    for subcase in subcases:
        for other_id in other_ids:
            for element_id in element_ids: 
                if element_id in dict_name[subcase][other_id]:
                    # error duplicate element_id
                    pass
                else:
                    dict_name[subcase][other_id][element_id]=0
    return dict_name

def setdefaultfunc(subcases,other_ids,element_ids):
    dict_name={}
    for subcase in subcases:
        for other_id in other_ids:
            for element_id in element_ids: 
                if element_id in dict_name.setdefault(subcase,{}).setdefault(other_id,{}):
                    # error duplicate element_id
                    pass
                else:
                    dict_name[subcase][other_id][element_id]=0

    return dict_name

IPython 输入和输出： 

In [1]: from numpy.random import randint

In [2]: subcases,other_ids,element_ids=(randint(0,100,100),randint(0,100,100),randint(0,100,100))

In [5]: from collections import defaultdict

In [6]: defaultdictfunc(subcases,other_ids,element_ids)==setdefaultfunc(subcases,other_ids,element_ids)
Out[6]: True

In [7]: %timeit defaultdictfunc(subcases,other_ids,element_ids)
10 loops, best of 3: 177 ms per loop

In [8]: % timeit setdefaultfunc(subcases,other_ids,element_ids)
1 loops, best of 3: 351 ms per loop

为什么比较setdefaultfunc慢。我认为底层代码是一样的。有没有办法提高它的速度？

谢谢

4

2 回答 2

3

根据用户aneroid：

这是有道理defaultdict的，dict.setdefault()因为前者在创建时为整个 dict 设置了默认值，而 setdefault() 在读取时为每个元素执行它。使用 setdefault 的一个原因是当您分配的默认值是基于键（或其他东西）而不是整个字典的通用默认值时。

于 2018-05-13T21:44:54.773 回答
1

这setdefaultfunc是最糟糕的，因为您在循环中多次调用 dict 构造函数（因为{}相当于dict()），同时defaultdict通过自己的设计避免这种情况。

稍作改动，您就可以轻松改进setdefaultfunc：

def setdefaultfunc2(subcases,other_ids,element_ids):
    dict_name={}
    for subcase in subcases:
        subcase_dict = dict_name.setdefault(subcase,{})
        for other_id in other_ids:
            other_id_dict = subcase_dict.setdefault(other_id,{})
            for element_id in element_ids: 
                if element_id in other_id_dict:
                    # error duplicate element_id
                    pass
                else:
                    other_id_dict[element_id]=0
    return dict_name

通过此更改，我的机器中的结果是：

In [37]: defaultdictfunc(subcases,other_ids,element_ids)==setdefaultfunc2(subcases,other_ids,element_ids)
Out[37]: True

In [38]: %timeit defaultdictfunc(subcases,other_ids,element_ids)
286 ms ± 8.55 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

In [39]: %timeit setdefaultfunc(subcases,other_ids,element_ids)
434 ms ± 1.78 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

In [40]: %timeit setdefaultfunc2(subcases,other_ids,element_ids)
174 ms ± 348 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

IMO，defaultdict没有提供足够的性能增益来使其值得使用。

于 2019-09-23T16:29:05.153 回答