python - 用 pytables 构造巨大的 numpy 数组

Question

我从大量数据中为示例生成特征向量，并且我想在读取数据时增量存储它们。特征向量是 numpy 数组。我事先不知道 numpy 数组的数量，我想以增量方式存储/检索它们。

查看 pytables，我发现了两个选项：

1. 数组：它们需要预定的大小，我不太确定附加多少在计算上是有效的。
2. 表：列类型不支持列表或数组。

Answer 1

如果它是一个普通的 numpy 数组，您可能应该使用可扩展数组 (EArray) http://pytables.github.io/usersguide/libref/homogenous_storage.html#the-earray-class

如果你有一个 numpy 结构化数组，你应该使用一个表。

Answer 2

你不能把它们存储到一个数组中吗？你有你的代码，它应该是一个循环，它将从数据中获取内容以生成你的示例，然后生成示例。在循环外创建一个数组并将您的向量附加到数组中进行存储！

array = []
for row in file:
    #here is your code that creates the vector
    array.append(vector)

然后在你浏览完整个文件之后，你就有了一个包含所有生成向量的数组！希望这就是你所需要的，你有点不清楚......下次请提供一些代码。

哦，你确实说过你想要 pytables，但我认为没有必要，特别是因为你提到的限制