2

我有多个表示音频数据的不同大小的一维 numpy 数组。由于它们的大小不同（例如(8200,)、(13246,)、(61581,)），我不能将它们作为 1 个数组与 numpy 堆叠。尺寸差异太大，无法进行0-padding。

我可以将它们保存在列表或字典中，然后使用for循环遍历它们以进行计算，但我希望我可以以 numpy 样式处理它。在变量上调用 numpy 函数，而无需编写 for 循环。就像是：

np0 = np.array([.2, -.4, -.5])
np1 = np.array([-.8, .9])
np_mix = irregular_stack(np0, np1)
np.sum(np_mix)
# output: [-0.7, 0.09999999999999998]

暗阵列

看着这张 Dask 图片，我想知道我是否可以用 Dask 做我想做的事。

到目前为止，我的尝试是这样的：

import numpy as np
import dask.array as da

np0 = np.array([.2, -.4, -.5])
arr0 = da.from_array(np0, chunks=(3,))
np1 = np.array([-.8, .9])
arr1 = da.from_array(np1, chunks=(2,))

# stack them
data = [[arr0],
        [arr1]]

x = da.block(data)
x.compute()

# output: ValueError: ('Shapes do not align: %s', [(1, 3), (1, 2)])

问题

  1. 我是否误解了如何使用 Dask？
  2. 如果可能的话，我该如何做我的np.sum()例子？
  3. 如果可能的话，它实际上是否比高端单台 PC 上的 for 循环更快？
4

2 回答 2

3

我找到了库awkward-array（https://github.com/scikit-hep/awkward-array），它允许不同长度的数组，并且可以做我要求的事情：

import numpy as np
import awkward

np0 = np.array([.2, -.4, -.5])
np1 = np.array([-.8, .9])
varlen = awkward.fromiter([np0, np1])
# <JaggedArray [[0.2 -0.4 -0.5] [-0.8 0.9]] at 0x7f01a743e790>

varlen.sum()
# output: array([-0.7,  0.1])

该库将自己描述为：“像 Numpy 一样轻松地操作复杂数据结构的数组。”

到目前为止，它似乎满足了我所需要的一切。

于 2019-11-20T03:04:49.237 回答
0

不幸的是，Dask 数组遵循 Numpy 语义，并假设所有行的长度相同。

我不知道今天有一个好的 Python 库可以有效地处理参差不齐的数组，所以你可能不走运。

于 2019-11-19T01:15:08.420 回答