performance - Numpy 结构化数组性能

Question

我有一个查找问题，归结为以下情况。三列正整数。对于某个值i，哪些值'column_3'在'column_1'下面i和'column_2'上面的值i？

import numpy as np

rows = 1e6
i = 5e8

ts = np.zeros((rows,), dtype=[('column_1','int64'),('column_2','int64'),('column_3','int64')])
ts['column_1'] = np.random.randint(low=0,high=1e9,size=rows)
ts['column_2'] = np.random.randint(low=0,high=1e9,size=rows)
ts['column_3'] = np.random.randint(low=0,high=1e9,size=rows)    

这是我要优化的操作：

%%timeit
a = ts[(ts['column_1'] < i)&(ts['column_2'] > i)]['column_3']

有什么我忽略的东西可以使这更快吗？将不胜感激任何建议！

Answer 1

A,B,C在创建时也将您的 3 个数组分配给：

In [3]: %%timeit
   ...: a = ts[(ts['column_1'] < i)&(ts['column_2'] > i)]['column_3']
   ...: 
22.5 ms ± 838 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)
In [4]: %%timeit
   ...: a = C[(A < i)&(B > i)]
   ...: 
   ...: 
9.36 ms ± 15 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

相反，使用a,b,c = ts['column_1'],ts['column_2'],ts['column_3']介于两者之间。

这些是您可以使用的变体和时间。正如我所看到的，由于索引差异，它只是微小的差异。没有一个数量级的差异。