python - Python vaex 如何从 CSV 文件创建数据框？

Question

为什么我只得到最后一列

if __name__ == '__main__':
# win远程linux运行
import vaex,pandas as pd
df_pd = pd.read_csv('./a.csv')  # contains 4 columns
print(df_pd)
print(list(df_pd.columns))
df = vaex.from_pandas(df_pd)   # only last column   # why???
print(df)

为什么我只得到最后一列

Answer 1

Vaex 用下划线替换非 ascii 字符，但两个下划线表示“隐藏”列。我们应该改变它，我为此打开了一个问题： https ://github.com/vaexio/vaex/issues/558

Answer 2

从 csv 文件创建 vaex 数据框。

尝试，vaex.from_csv('a.csv')

如果数据集很大并且大约有数十亿个数据，那么您可能必须使用 chunk_sizefrom_csv来避免内存问题。