python - 将多个 parquet 存储的数据帧合并为一个的节省空间的方法

Question

我有几个包含数据帧（具有相同列）的镶木地板文件，我想将它们连接成一个巨大的熊猫数据帧。我能想到的最节省空间的解决方案是：

# to find all files
YEAR_LIST = range(2014,2020)

# using a generator rather than a list to only load data when necessary
my_frames = (pd.read_parquet(f"data_{year}") for year in YEAR_LIST)

# pandas inbuilt concat seems most efficient
df = pd.concat(my_frames, axis=1)

有没有更节省空间的解决方案？我愿意牺牲时间效率来换取空间效率。