11

Dask 没有像 pandas 这样的 df.to_sql() ，所以我试图复制该功能并使用该map_partitions方法创建一个 sql 表。这是我的代码：

import dask.dataframe as dd
import pandas as pd
import sqlalchemy_utils as sqla_utils

db_url = 'my_db_url_connection'
conn = sqla.create_engine(db_url)

ddf = dd.read_csv('data/prod.csv')
meta=dict(ddf.dtypes)
ddf.map_partitions(lambda df: df.to_sql('table_name', db_url, if_exists='append',index=True), ddf, meta=meta)

这将返回我的 dask 数据框对象，但是当我查看我的 psql 服务器时，没有新表......这里出了什么问题？

更新 仍然无法让它工作，但由于独立问题。后续问题：重复键值违反唯一约束 - 尝试从 dask 数据帧创建 sql 表时出现 postgres 错误

4

2 回答 2

10

简单地说，您已经创建了一个数据框，它是要完成的工作的处方，但您还没有执行它。要执行，您需要调用.compute()结果。

请注意，这里的输出并不是真正的数据帧，每个分区的计算结果为None（因为to_sql没有输出），所以用 来表示它可能更清晰df.to_delayed，比如

dto_sql = dask.delayed(pd.DataFrame.to_sql)
out = [dto_sql(d, 'table_name', db_url, if_exists='append', index=True)
       for d in ddf.to_delayed()]
dask.compute(*out)

另请注意，是否获得良好的并行性将取决于数据库驱动程序和数据系统本身。

于 2019-01-24T14:57:23.623 回答
1

更新：Daskto_sql()现在可用 https://docs.dask.org/en/latest/dataframe-api.html#dask.dataframe.DataFrame.to_sql

于 2020-10-08T13:16:14.180 回答