1

我有一个 3GB 的 CSV 文件。我正在尝试使用 Pandas 将其保存为 HDF 格式，以便更快地加载它。

import pandas as pd
import traceback

df_all = pd.read_csv('file_csv.csv', iterator=True, chunksize=20000)

for _i, df in enumerate(df_all):
    try:
        print ('Saving %d chunk...' % _i, end='')
        df.to_hdf('file_csv.hdf',
                  'file_csv',
                  format='table',
                  data_columns=True)
        print ('Done!')
    except:
        traceback.print_exc()
        print (df)
        print (df.info())

del df_all

原始的 CSV 文件大约有 300 万行，这从这段代码的输出中可以看出。最后一行输出是：Saving 167 chunk...Done！这意味着：167*20000 = 3.340.000 行

我的问题是：

df_hdf = pd.read_hdf('file_csv.hdf')
df_hdf.count()

=> 4613 行

和：

item_info = pd.read_hdf('ItemInfo_train.hdf', where="item=1")

什么都不返回，即使我确定“项目”列在原始文件中的条目等于 1。

有什么问题？

4

1 回答 1

0

用于append=True告诉to_hdf将新块附加到同一文件。

    df.to_hdf('file_csv.hdf', ..., append=True)

否则，每次调用都会覆盖以前的内容，并且只有最后一个块仍然保存在file_csv.hdf.

import os
import numpy as np
import pandas as pd

np.random.seed(2016)
df = pd.DataFrame(np.random.randint(10, size=(100, 2)), columns=list('AB'))
df.to_csv('file_csv.csv')
if os.path.exists('file_csv.hdf'): os.unlink('file_csv.hdf')
for i, df in enumerate(pd.read_csv('file_csv.csv', chunksize=50)):
    print('Saving {} chunk...'.format(i), end='')
    df.to_hdf('file_csv.hdf',
              'file_csv', 
              format='table',
              data_columns=True,
              append=True)
    print('Done!')
    print(df.loc[df['A']==1])
print('-'*80)
df_hdf = pd.read_hdf('file_csv.hdf', where="A=1")
print(df_hdf)

印刷

    Unnamed: 0  A  B
22          22  1  7
30          30  1  7
41          41  1  9
44          44  1  0
19          69  1  3
29          79  1  1
31          81  1  5
34          84  1  6

用于append=True告诉to_hdf将新块附加到同一文件。否则，只有最后一个块被保存在file_csv.hdf：

import os
import numpy as np
import pandas as pd

np.random.seed(2016)
df = pd.DataFrame(np.random.randint(10, size=(100, 2)), columns=list('AB'))
df.to_csv('file_csv.csv')
if os.path.exists('file_csv.hdf'): os.unlink('file_csv.hdf')
for i, df in enumerate(pd.read_csv('file_csv.csv', chunksize=50)):
    print('Saving {} chunk...'.format(i), end='')
    df.to_hdf('file_csv.hdf',
              'file_csv', 
              format='table',
              data_columns=True,
              append=True)
    print('Done!')
    print(df.loc[df['A']==1])
print('-'*80)
df_hdf = pd.read_hdf('file_csv.hdf', where="A=1")
print(df_hdf)

印刷

    Unnamed: 0  A  B
22          22  1  7
30          30  1  7
41          41  1  9
44          44  1  0
19          69  1  3
29          79  1  1
31          81  1  5
34          84  1  6
于 2016-05-14T15:56:05.990 回答