0

我知道在数据表中读取 csv 文件比 pandas DataFrame 快得多。

但是，就我而言

我有几个 csv 文件，我必须一一追加。

所以我正在将所有这些 pd.read_csv(file) 附加到空 DataFrame 中。

使用数据表读取csv文件并将其附加到空数据表会更快吗

然后最后将最终数据表转换为csv？

所以我想知道除了pandas DataFrame之外追加csv文件的最快方法

4

1 回答 1

1

csv当我有很多文件时，这就是我所做的。

我glob用来抓取所有 csv 文件路径：

from glob import glob
all_csvs = glob('path-to-folder-containing-csv-files/*.csv')

现在阅读所有这些并附加它们。

all_csvs_appended = dt.rbind(iread(all_csvs))

如果您的所有 csv 文件没有相同的列，您可能需要添加force=True到rbind.

于 2021-11-20T06:48:40.790 回答