0

我正在使用下面的代码将制表符分隔的文件读入 postgres 数据库

enginestring = cfg.dbuser+":"+cfg.dbpwd+"@"+server.local_bind_host+":"+str(server.local_bind_port)+"/"+cfg.dbname
engine = create_engine('postgresql://' + enginestring)

rows = []
for line in smart_open.smart_open(key):
    ln = str(line.decode('utf-8'))
    fields = ln.split('\t')
    rows.append(fields)

df = pd.DataFrame(rows, columns=cfg.df_colheaders)
print(df.head)
df.to_sql(name=table_name, con=engine, if_exists='append')

打印调用返回我期望的数据帧（即[798624行x 133列]）并且对to_sql的调用没有失败，但是在数据库中我只看到一行数据具有正确的列......（相同如果表之前已创建，则结果）

4

1 回答 1

0

好的，这是一个更新：

  • 我通过剥离 EOL 字符解决了单行问题（可以在最后一个插入字段的末尾看到 ¶）
  • 然后我只是得到空表，所以我在 to_sql 中添加了 chunksize 参数 - 不知道为什么它没有失败而不是继续进行，但现在可以了
于 2018-02-18T09:03:46.237 回答