0

我有两个数组：

index  = [2,1,0,0,1,1,1,2]
values = [1,2,3,4,5,4,3,2]

我想制作：

[sum(v for i,v in zip(index, values) if i == ui) for i in sorted(set(index))]

以最有效的方式。

  • 我的值是通过 autograd 计算的
  • 由于上述几点，在熊猫中进行分组确实效率不高
  • index我必须在相同但不同的值上做数百次
  • len(values)~ 10**7
  • len(set(index))~ 10**6
  • Counter(index).most_common(1)[0][1]~ 1000

我认为一个纯粹的 numpy 解决方案将是最好的。

我尝试预先计算 的简化版本index，然后执行以下操作：

[values[l].sum() for l in reduced_index]

但效率不够。

这是一个最小的代码示例：

import numpy as np
import autograd.numpy as anp
from autograd import grad
import pandas as pd

EASY = True

if EASY:
    index = np.random.randint(10, size=10**3)
    values = anp.random.rand(10**3) * 2 - 1
else:
    index = np.random.randint(1000, size=10**7)
    values = anp.random.rand(10**7) * 2 - 1


# doesn't work
def f1(values):
    return anp.exp(anp.bincount(index, weights=values)).sum()


index_unique = sorted(set(index))
index_map = {j: i for i, j in enumerate(index_unique)}
index_mapped = [index_map[i] for i in index]
index_lists = [[] for _ in range(len(index_unique))]
for i, j in enumerate(index_mapped):
    index_lists[j].append(i)


def f2(values):
    s = anp.array([values[l].sum() for l in index_lists])
    return anp.exp(s).sum()


ans = grad(f2)(values)
4

1 回答 1

2

如果您的索引是非负整数，您可以使用np.bincountwith valuesas weights：

np.bincount(index, weights=values)
# array([ 7., 14.,  3.])

0这给出了从到的每个位置的总和max(index)。

于 2018-06-19T23:39:37.377 回答