python - 在气流中从 GCS 写入 Postgresql 的大多数 python 方式

Question

我正在构建一个气流 dag，它从 GCS 获取 csv 文件并将它们插入到云 SQL 中的 postgresql 表中。我有几个选择：

• 使用 sqlalchemy 插入 reows。
• 使用熊猫
• 探索 PostgreSQL 气流运算符（我不知道如何将它们与 gcs 连接）。

哪种方式最pythonic？

Answer 1

你应该选择COPY。

见 https://www.postgresql.org/docs/current/sql-copy.html

COPY 在 PostgreSQL 表和标准文件系统文件之间移动数据。COPY TO 将表的内容复制到文件，而 COPY FROM 将数据从文件复制到表（将数据附加到表中已有的任何内容）。