我有一个数据块,目前是一个 n 元组列表,但格式非常灵活,我想附加到 Postgres 表中 - 在这种情况下,每个 n 元组对应于数据库中的一行。
到目前为止,我一直在做的是将这些全部写入 CSV 文件,然后使用 postgres 的 COPY 将所有这些批量加载到数据库中。这可行,但不是最理想的,我希望能够直接从 python 完成这一切。python中是否有一种方法可以在Postgres中复制COPY类型的批量加载?
我有一个数据块,目前是一个 n 元组列表,但格式非常灵活,我想附加到 Postgres 表中 - 在这种情况下,每个 n 元组对应于数据库中的一行。
到目前为止,我一直在做的是将这些全部写入 CSV 文件,然后使用 postgres 的 COPY 将所有这些批量加载到数据库中。这可行,但不是最理想的,我希望能够直接从 python 完成这一切。python中是否有一种方法可以在Postgres中复制COPY类型的批量加载?
如果您使用的是 psycopg2 驱动程序,则游标提供一个copy_to
和copy_from
函数,可以从任何类似文件的对象(包括StringIO
缓冲区)中读取。
在文件examples/copy_from.py和examples/copy_to.py中有一些示例,这些示例随psycopg2 源代码分发一起提供。
此摘录来自copy_from.py
示例:
conn = psycopg2.connect(DSN)
curs = conn.cursor()
curs.execute("CREATE TABLE test_copy (fld1 text, fld2 text, fld3 int4)")
# anything can be used as a file if it has .read() and .readline() methods
data = StringIO.StringIO()
data.write('\n'.join(['Tom\tJenkins\t37',
'Madonna\t\N\t45',
'Federico\tDi Gregorio\t\N']))
data.seek(0)
curs.copy_from(data, 'test_copy')