python - 如何使用熊猫使用 zstandard 压缩镶木地板文件

Question

我正在使用 pandas 使用以下命令将数据帧转换为 .parquet 文件：

df.to_parquet(file_name, engine='pyarrow', compression='gzip')

我需要使用 zstandard 作为压缩算法，但上面的函数只接受 gzip、snappy 和 brotli。我试过有没有办法在这个函数中包含 zstd ？如果没有，我怎么能用其他包做到这一点？我尝试使用zstandard，但它似乎只接受类似字节的对象。

Answer 1

我通常使用 zstandard 作为我的数据帧的压缩算法。

这是我用来编写这些镶木地板文件的代码（有点简化）：

import pandas as pd
import pyarrow.parquet as pq
import pyarrow as pa

parquetFilename = "test.parquet"

df = pd.DataFrame(
    {
        "num_legs": [2, 4, 8, 0],
        "num_wings": [2, 0, 0, 0],
        "num_specimen_seen": [10, 2, 1, 8],
    },
    index=["falcon", "dog", "spider", "fish"],
)

df = pa.Table.from_pandas(df)
pq.write_table(df, parquetFilename, compression="zstd")

并阅读这些镶木地板文件：

import pandas as pd
import pyarrow.parquet as pq
import pyarrow as pa

parquetFilename = "test.parquet"
df = pq.read_table(parquetFilename)
df = df.to_pandas()

有关更多详细信息，请参阅以下网站以获取更多信息：

• 熊猫集成
• 读写 Apache Parquet 格式
• pyarrow.parquet.read_table
• pyarrow.parquet.write_table

最后是我写的一篇博文的无耻插件。它是关于 zstandard 和使用 pyarrow 在 parquet 文件中快速压缩的速度与空间平衡。它与您的问题相关，并包含一些在 zstandard 中读取和写入 parquet 文件的更多“真实世界”代码示例。实际上，我也会很快写一篇后续文章。如果你有兴趣让我知道。

Answer 2

似乎还不支持：

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.to_parquet.html

compression{'snappy', 'gzip', 'brotli', None}, default 'snappy' 要使用的压缩名称。使用 None 表示不压缩。