0

我有以下问题:我有一个yj大小矩阵(m,200)(.m = 3683yj

现在,我必须多次访问这个矩阵(大约 100 万次),并且我的代码由于索引而变慢(我已经分析了代码,这一步需要 65% 的时间)。

这是我尝试过的:

  1. 首先,使用索引进行切片:
>> %timeit yj[R_u_idx_train[1]]
10.5 µs ± 79.7 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)

变量R_u_idx_train是具有行索引的字典。

  1. 我认为布尔索引可能会更快:
>> yj[R_u_idx_train_mask[1]]
10.5 µs ± 159 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)

R_u_idx_train_mask是一个字典,它返回一个大小为的布尔数组,m其中给出的索引R_u_idx_train设置为 True。

  1. 我也试过np.ix_
>> cols = np.arange(0,200)
>> %timeit ix_ = np.ix_(R_u_idx_train[1], cols); yj[ix_]
42.1 µs ± 353 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)
  1. 我也试过np.take
>> %timeit np.take(yj, R_u_idx_train[1], axis=0)
2.35 ms ± 88.7 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

虽然这看起来很棒,但事实并非如此,因为它给出了一个形状的数组(R_u_idx_train[1].shape[0], R_u_idx_train[1].shape[0])(应该是(R_u_idx_train[1].shape[0], 200))。我想我没有正确使用该方法。

  1. 我也试过np.compress
>> %timeit np.compress(R_u_idx_train_mask[1], yj, axis=0)
14.1 µs ± 124 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)
  1. 最后我尝试使用布尔矩阵进行索引
>> %timeit yj[R_u_idx_train_mask2[1]]
244 µs ± 786 ns per loop (mean ± std. dev. of 7 runs, 1000 loops each)

那么,10.5 µs ± 79.7 ns per loop我能做到最好吗?我可以尝试使用cython,但这似乎只是索引的很多工作......

非常感谢。

4

1 回答 1

0

V.Ayrat 在评论中给出了一个非常聪明的解决方案。

>> newdict = {k: yj[R_u_idx_train[k]] for k in R_u_idx_train.keys()}
>> %timeit newdict[1]
202 ns ± 6.7 ns per loop (mean ± std. dev. of 7 runs, 10000000 loops each)

无论如何,知道是否有办法使用它来加速它仍然很酷numpy

于 2020-05-17T14:48:29.383 回答