postgresql - 将压缩的 CSV 文件导入 PostgreSQL

Question

我有一个很大的压缩 csv 文件（25gb），我想将它导入 PostgreSQL 9.5 版本。有什么快速的方法可以将 zip 或 qzip 文件导入 postgres 而不提取文件？

Answer 1

使用命名管道有一个老技巧（适用于 Unix，不了解 Windows）

• 创建一个命名管道：mkfifo /tmp/omyfifo
• 将文件内容写入其中：zcat mycsv.csv.z > /tmp/omyfifo &
• [来自 psql]copy mytable(col1,...) from '/tmp/omyfifo'
• [等结束了] ：rm /tmp/omyfifo

在zcat后台将阻塞，直到阅读器（这里：COPY命令）开始阅读，并且它将在 EOF 处完成。（或者如果读者关闭管道）

COPY您甚至可以启动多个管道+zcat 对，这将被您的 sql 脚本中的多个语句拾取。

---

这将在 pgadmin 中工作，但 fifo（+zcat 进程）应该存在于运行 DBMS 服务器的机器上。

---

顺便说一句：使用 netcat 的类似技巧可用于从远程机器读取文件（当然应该将文件写入网络套接字）

Answer 2

示例如何使用zcatand进行操作pipe：

-bash-4.2$ psql -p 5555 t -c "copy tp to '/tmp/tp.csv';"
COPY 1
-bash-4.2$ gzip /tmp/tp.csv
-bash-4.2$ zcat /tmp/tp.csv.gz | psql -p 5555 t -c "copy tp from stdin;"
COPY 1
-bash-4.2$ psql -p 5555 t -c "select count(*) from tp"
 count
-------
     2
(1 row)

从 9.3 版本开始，您还可以：

psql -p 5555 t -c "copy tp from program 'zcat /tmp/tp.csv.gz';"

完全没有管道

Answer 3

如果您有 ZIP (.zip) 而不是 GZIP (.gz) 存档，则可以使用unzip -p管道传输压缩文件。

psql -p 5555 -t -c "copy tp from program 'unzip -p /tmp/tp.csv.zip';"