假设我有两个非常大的字典:bigDictA 和 bigDictB,如下所示。
bigDictA = {frozenset("a1","b2","c3"): [some floats in a list], ...}
bigDictB = {frozenset("a1","b2"): [some floats in a list], ...}
现在,我编写的需要帮助优化的算法如下所示:
setOfMatches = set()
for bigDictAkey, bigDictAval in bigDictA.items():
for bigDictBkey, bigDictBval in bigDictB.items():
itemsInCommon = list(frozenset.intersection(bigDictAkey,bigDictBkey))
numberOfItemsInCommon = len(itemsInCommon)
valForComparison = THRESHOLD*float(len(list(bigDictAkey)))
if (numberOfItemsInCommon >= valForComparison):
setOfMatches.add(bigDictAkey)
因此,如果 THRESHOLD 为 0.3,则将 freezeset("a1","b2","c3") 添加到 setOfMatches,但如果 THRESHOLD 为 0.7,则不会添加。
我意识到这效率不高,但我绝对愿意接受任何建议,包括将关键数据类型转换为其他数据类型以加快速度。我也研究过使用 Numba 和 Cython 等工具(不过我更喜欢将它保存在纯 python 中)。它需要快速疯狂!
非常感谢任何帮助!谢谢!