python - 在 Python 中压缩任意数据结构的库

Question

我有一个用 Python 编写的应用程序，它存储了许多基本数据类型（int、floats 等）的列表，而这些列表又很少被访问。我正在查看一些可以在进一步处理之前压缩这些数据的库。

我查看了gzip和其他类似的库。在我看来，他们都在弦乐上工作。这是为什么？将 LZ77 应用于 int 列表而不是 chars 列表是否有任何限制？

那里有一个python库可以做我想做的事吗？

Answer 1

您首先需要使用pickle 或 cPickle序列化 Python 对象，这会将其转换为一系列字节。然后您可以使用任何压缩器，例如zlib来压缩它。然后您可以使用 zlib 和 pickle 将数据转回对象。pickle 和 zlib 都可以单独在内存中工作。

Answer 2

如果你有 python 3.4，你可以用lzma library做到这一点。

如果您使用的是 python 2.7，则可以使用bz2库来压缩内存中的数据。

链接中的示例看起来不错，所以我不会在这里重新编写它们。