python - 如何在 Pandas 中读取 lz4 压缩文件？

Question

我有一个类似的文件stackunderflow.csv.lz4，我想加载它Pandas进行处理。

我尝试了天真的pd.read_csv()没有成功。大佬能Pandas处理这些类型的压缩文件吗？

谢谢！

Answer 1

根据这个 StackOverFlow Answer，您可以使用第 3 方库以块的形式读取数据，然后将其加载到您的 Pandas 数据框中

import lz4.frame chunk_size = 128 * 1024 * 1024 with lz4.frame.open('mybigfile.lz4', 'r') as file: chunk = file.read(size=chunk_size)