2

我想将不同长度的二维数组存储为 AwkwardArray，将它们存储为 Parquet，然后再次访问它们。问题是，从 Parquet 加载后，格式BitMaskedArray和访问性能有点慢。由以下代码演示：

import numpy as np
import awkward as awk

# big to feel performance (imitating big audio file); 2D
np_arr0 = np.arange(20000000, dtype=np.float32).reshape(2, -1)
print(np_arr0.shape)
# (2, 10000000)
# different size
np_arr1 = np.arange(20000000, 36000000, dtype=np.float32).reshape(2, -1)
print(np_arr1.shape)
# (2, 8000000)

# slow; turn into AwkwardArray
awk_arr = awk.fromiter([np_arr0, np_arr1])

# fast; returns np.ndarray
awk_arr[0][0]

# store and load from parquet
awk.toparquet("sample.parquet", awk_arr)
pq_array = awk.fromparquet("sample.parquet")

# kinda slow; return BitMaskedArray
pq_array[0][0]

如果我们检查退货，我们会看到：

pq_array[0][0].layout
#  layout 
# [    ()] BitMaskedArray(mask=layout[0], content=layout[1], maskedwhen=False, lsborder=True)
# [     0]   ndarray(shape=1250000, dtype=dtype('uint8'))
# [     1]   ndarray(shape=10000000, dtype=dtype('float32'))

#   trying to access only float32 array [1]
pq_array[0][0][1]
# expected
# array([0.000000e+00, 1.000000e+00, 2.000000e+00, ..., 9.999997e+06, 9.999998e+06, 9.999999e+06], dtype=float32)

# reality
# 1.0

问题

如何从 Parquet 加载 AwkwardArray 并快速访问 numpy 值？

来自自述文件（GitHub）的信息

awkward.fromparquet正在延迟加载 Parquet 文件。

很好，这在做例如时会有所帮助pq_array[0][0][:1000]

新结构的下一层是锯齿状​​数组是位屏蔽的。尽管没有任何值可以为空，但这是 Parquet 格式化列数据的方式的产物。

我想没有办法解决这个问题。但是，这就是加载速度有点慢的原因吗？我仍然可以numpy.ndarray通过直接访问数据（无位掩码）来访问数据吗？

额外的尝试

用 Arrow 加载它，然后 Awkward：

import pyarrow as pa
import pyarrow.parquet as pq

# Parquet as Arrow
pa_array = pq.read_table("sample.parquet")

# returns table instead of JaggedArray
awk.fromarrow(pa_array)
# <Table [<Row 0> <Row 1>] at 0x7fd92c83aa90>
4

1 回答 1

2

在 Arrow 和 Parquet 中，所有数据都是可以为空的，因此 Arrow/Parquet 编写者可以随意在任何他们想要的地方添加位掩码。在读回数据时，Awkward 必须将这些位掩码视为有意义的（将它们映射到awkward.BitMaskedArray），但它们可能都是有效的，特别是如果您知道您没有将任何值设置为null.

如果您愿意忽略位掩码，可以通过调用

pq_array[0][0].content

至于慢，我可以这么说

import awkward as ak

# slow; turn into AwkwardArray
awk_arr = ak.fromiter([np_arr0, np_arr1])

会很慢，因为ak.fromiter它是用 Python for 循环实现的少数函数之一——用 Python for 循环在 NumPy 数组中迭代超过 1000 万个值会很痛苦。您可以手动构建相同的东西

>>> ak_arr0 = ak.JaggedArray.fromcounts([np_arr0.shape[1], np_arr0.shape[1]],
...                                     np_arr0.reshape(-1))
>>> ak_arr1 = ak.JaggedArray.fromcounts([np_arr1.shape[1], np_arr1.shape[1]],
...                                     np_arr1.reshape(-1))
>>> ak_arr = ak.JaggedArray.fromcounts([len(ak_arr0), len(ak_arr1)],
...                                    ak.concatenate([ak_arr0, ak_arr1]))

至于 Parquet 速度慢，我不能说原因：它可能与页面大小或行组大小有关。由于 Parquet 是一种“中等重量”文件格式（介于 HDF5 等“重量级”和 npy/npz 等“轻量级”之间），它有一些可调参数（不是很多）。

您可能还想考虑

ak.save("file.awkd", ak_arr)
ak_arr2 = ak.load("file.awkd")

这实际上只是带有 JSON 元数据的 npy/npz 格式，用于将 Awkward 数组映射到平面 NumPy 数组和从平面 NumPy 数组映射。对于此示例，file.awkd大小为 138 MB。

于 2019-12-11T02:37:15.710 回答