我正在编写一些性能密集型代码,并希望从 cythonistas 那里获得一些关于如何进一步改进它的反馈。我编写的函数的目的有点难以解释,但它们所做的并不是那么令人生畏。第一个(大致)采用两个数字列表字典并将它们连接起来以获得一个数字列表字典。它只运行一次,所以我不太关心优化它。第二个首先调用第一个,然后使用其结果基本上将存储在 numpy 数组中的索引与数组列表中的数字交叉,以在 (pybloomfiltermmap) 布隆过滤器上形成查询(新数字)。
我已经确定这一步是由于我的嵌套循环并减少了使用的循环数量,将只需要发生一次的所有内容移出循环,并尽我所知键入所有内容。尽管如此,第二个函数中 i 的每次迭代都需要大约 10 秒,这太多了。我在 html 编译输出中仍然看到黄色的主要内容是由于列表和 numpy 数组中的索引访问,所以我尝试用所有 numpy 数组替换我的列表,但没有得到任何改进。我将非常感谢您提供的任何反馈。
#cython: boundscheck=False
#cython: wraparound=False
import numpy as np
cimport numpy as np
def merge_dicts_of_lists(dict c1, dict c2):
cdef dict res
cdef int n, length1, length2, length3
cdef unsigned int i, j, j_line, jj, k, kk, new_line
res = {n: [] for n in range(256)}
length1 = len(c1)
for i in range(length1):
length2 = len(c1[i])
for j in range(length2):
j_line = c1[i][j]
jj = (j_line) % 256
length3 = len(c2[jj])
for k in range(length3):
kk = c2[jj][k]
new_line = (j_line << 10) + kk
res[i].append(new_line)
return res
def get_4kmer_set(np.ndarray c1, dict c2, dict c3, bf):
cdef unsigned int num = 0
cdef unsigned long long query = 0
cdef unsigned int i, j, i_row, i_col, j_line
cdef unsigned int length1, length2
cdef dict merge
cdef list m_i
merge = merge_dicts_of_lists(c2, c3)
length1 = len(c1[:,0])
for i in range(length1):
print "i is %d" % i
i_row = c1[i,0]
i_col = c1[i,1]
m_i = merge[i_col]
length2 = len(m_i)
for j in range(length2):
j_line = m_i[j]
query = (i_row << 24) + (i_col << 20) + j_line
if query in bf:
num += 1
print "%d yes answers from bf" % num